无涯岛，从天涯之外的无名海上漂来，数十年或数百年靠近南海的大陆架一次，常人从不得见。
清宣统年间南海边有一渔夫，传说天赋异能，长着一双阴阳眼，通晓鬼神之事，更传他曾在山野与男鬼打架，打得男鬼落荒而逃。
一日渔夫出海打鱼，明明天上方才还风和日丽，晴空万里，霎时间就风云突变，雷雨交加。渔夫也算是有经验的老渔民了，海上的天气本来就多变，他此时倒也不慌乱，手脚麻利地收网准备返航。但那天说怪不怪，那网里鱼多得不得了，且全都朝同一个方向拼命地游去，拉都拉不起来。
“真见鬼勒。”这渔夫心想，难道有仙人赶鱼？
这仙人赶鱼可是有典故的。古时候有一小孩在天快亮时到河边取水，远远地见一白衣后生拿着一节竹鞭，一路往河里赶一群马。小孩觉得这人奇怪，好好的把马儿赶到河里做什么呢？再一看不得了，那些根本就不是马匹，而是河边的大石头！小孩心里害怕，正欲转身跑回村里，却见那后生已经把一堆石头赶到了河边上，马上就要下河了。这河在这一段可是要塞，是河最窄的地方，小孩一看不行，这么多石头要是到了河里，硬是得把河给堵成两半截啊，怎么办呢？小孩灵机一动，捏着嗓子学起了鸡叫，那后生是个鬼，一听到鸡叫以为天亮便立刻消失不见了，河边留下一滩石头。此为仙人赶石。
再说这渔夫心里虽然害怕，却也舍不得这养家糊口的家搭子，心道既然你要往那边走，我也就跟去瞧瞧，于是卯足力气跟着鱼群去到了一处人迹罕至的三角地，鱼群不游了，在水里发疯地蹦跶起来。
事情在这时候发生了诡异的变化。
鱼群越闹越野，水花震天响。渔夫正在纳闷，忽然听得水中一阵连续的剧烈的响动，一个庞然大物从水里快速升起。说是庞然大物并不贴切，这东西大得吓人，整个黑黝黝水淋淋的，渔夫吓得跪倒在船上，姥姥的这是一个什么怪物，怎么像个岛哇！
他这下连船也不想要了，只一门心思弃船往岸上逃去，他一路逃一路回头，忽然就发现有个黑影在追他。那渔夫跟撞鬼似的脚底抹油跑的飞快，突然就一个趔趄跌进了乱石堆里。这一摔把渔夫彻底给摔懵了，脑袋都磕出血来，他还没回过神来，那个黑影就扑了下来。
这渔夫正要大叫，黑影却伸出一只手来死死捂住了他的口鼻。
“不要出声，救我……”那黑影虚弱道。
渔夫这才发现那黑影是个男人，岁数多大不好说，但并不老。他浑身是血，看样子受了很重的伤。
渔夫又往黑岛的方向看过去，这一看竟看到有个人影一动不动地站在岸边，好像正在搜寻什么。渔夫知道那个人影一定是在找身边这个受伤的男人，便立即噤了声，把自己和黑影的头都压得更低。
良久，那人影并没有走过来，甚至没有离开过岸边。他就在那里站了许久，张望了许久，也许什么也没有发现，转身走入了海里。他走着走着就跑起来，像猴子一样敏捷地上了岛，消失不见了。
那岛随即整个迅速地沉入了海底，发出一阵连续的震天的响动。不一会儿，海面便恢复了平静。
那渔夫看得眼珠子都快掉下来，好半天才说出话来。
“娘哎，我真的见鬼了。”那渔夫惊魂未定地自言自语道，又忙去查看旁边受伤的男人。
那男人竟然死了。
渔夫这才发现男人的心脏都被穿了个大窟窿，血都已经流干了。
渔夫大惊失色，心道这真是一波未平一波又起。他望了望海边，仍是心有余悸，但旁边这个人死得蹊跷，要是给官府知道了，自己怎么脱得了干系？两相对比之下，渔夫还是硬着头皮赶回海边驾船一刻不停地返航。
那渔夫当夜回到家翻来覆去睡不着，眼前反复浮现那男人的死状，甚至还联想到那男人七窍流血面色乌青地飘在他面前，凄惨惨地质问他为什么不救他。他越想心里越害怕，心中有些后悔当时没有把那男人的尸首好好安葬了，那死鬼既没有好死，又不得好埋，要是他想不开，变成厉鬼要来纠缠他可怎么办？
那一夜渔夫根本没有睡着，第二天他起了个大早，驾着渔船又出海去到了那块三角地。
船一靠岸他就跳船下去，带着镐子直奔那片乱石堆。
天色已经大亮，渔夫赶往那乱石堆一看，这一看他几乎背过气去。
石堆里空空如也，别说死人了，连血迹都看不到一星半点。那渔夫浑身哆嗦，两腿不停打颤，屁滚尿流地奔回船上驾船逃走了。
渔夫回到家中就重病不起，精神恍惚，妻子请了赤脚郎中又请巫医都无济于事，没几个月渔夫就一命呜呼了。当地人盛传渔夫冲撞了海神，又传那死鬼并不是人，能够死而复生，反正众说纷纭，到最后也就无从考究，当真成了传说了。
本来故事到这里就成了无头案子，该拍板结案了。
哪料坊间盛传近二十来年又有人看到了这一奇异景象，还说看到一名青年男子怀抱着一个婴儿，面朝那黑黝黝水淋淋的怪岛庄严肃穆地站立着，神色悲戚。
故事后面的版本就很乱了，有的版本传得神乎其神，并不足为信。
无涯岛是否存在仍是个谜，无涯岛这名字也不知从何而来，大概是因其无根无涯，孤儿般流浪于海上，故名无涯罢了。