苻马的父母刚到琼州定居的时候，还称得上是琴瑟和谐，尤其是当小苻马出生以后，就更是令他一直担心绝后的父亲为之雀跃。但没过多久，苻马的母亲就从“丈夫”没有藏好的一封家书中得知了一个残酷的事实——原来他早就有老婆了......
苻马的母亲马上就不干了，因为黎族人一直都是坚决贯彻一夫一妻制的，她怎么可能容忍“丈夫”还有别的女人？更何况，那个女人才是正妻，而她却连侧室都算不上，充其量也就是被偷偷包养的“二奶”而已......
可是，对这个年代的汉人来说，三妻四妾却是很平常的。符马的父亲完全不能理解其“过激”的反应，两人的感情迅速出现了裂痕，而苻马的父亲又从老父托人带来的家书中得知，自己留在家乡的那位正妻在他离家后没几天就发现自己珠胎暗结，如今也已经诞下麟儿，他对于琼州这边的母子俩就愈发冷淡下来。毕竟他那位正妻娘家的势力不小，对他们家的生意又一直帮助很大，是得罪不起的，而苻氏虽然在部落里是族长的女儿，但到了他的家乡，别人首先看到的还是她南蛮女子的出身，虽然汉人对于异族的歧视远没历史上后世的美国人某个时期那么过分，但娶回这样的妻子，也总归不是什么倍有面子的事（感觉上类似于现在那些娶越南老婆的......）。
苻马的父亲最终还是离开了，但在“重利轻别离”的商人之中，他还算是好的，至少见到苻氏死活不肯放儿子走后便将小苻马留给了她，并留下了足以让母子俩一辈子吃喝不愁的金钱。然而，苻氏虽然单纯好骗，性子却是烈得很，当场就将那些银子扔了出去，苻马他爹身手倒是不赖（要不然当初也没法拖家带口地逃下山了......），居然没在这银雨下中弹......
以漫天银弹将“负心人”赶走之后，苻氏这才发现一个问题，没钱怎么养活自己和还未断奶的孩子呢？可这时那些银子都已经被她扔了出去，立马就被行人哄抢，她实在是放不下脸面将银两要回来，再说就算她肯厚起脸面，无凭无据的情况下也很难要回。再加上苻氏自小到大从来都是由别人养活，对金钱没有半点概念，就更不会这样做了。而因为同样的原因，那点“漏网之鱼”也很快就被她花光了，母子俩终于陷入了衣食无着的窘境......
在宋代，黎族妇女以棉纺技艺冠绝东亚（注1），苻氏哪怕只有族内妇女的平均水平，也足以养活自己和刚能下地行走的儿子。但很遗憾，苻氏自小就是个“假小子”，游水、爬树、登山样样全能（注2），而几乎每个黎族妇女都会的纺织她却只懂皮毛，所以母子俩的生计就成了大难题。无奈之下苻氏只能厚着脸皮回到了村寨，她的族长父亲虽然心有余忿，但毕竟是自己的亲生女儿和外孙，最后还是在妻子的劝说下收留了母子俩。
可惜好景不长，这个年代即使在富庶的大宋人均寿命也远不能与后世相比，何况是生活条件更加艰苦的黎族山村？苻氏回山不到三年时间，她的母亲与父亲就先后辞世，母子俩再次失去了依靠。尤其是随着小苻马渐渐长大，一个问题渐渐凸显出来，由于出身的原因，很少有小孩愿意和苻马一起玩（注3），甚至还常常仗着人多欺负他（一般来说受到孤立的小孩打架都很凶悍，尤其是在周围人群普遍尚武好斗的情况下，都是被逼出来的。），这令小苻马的童年异常孤独。
另外，虽说以苻氏的身手和她这几年里进步很大的各种生活技能，完全可以在山中靠着渔猎糊口，但苻氏却很快打消了这个念头。因为她虽然仍对苻马的父亲怀恨在心，可是那个负心人的一些观念却不可避免地对她产生了影响，比如小孩一定要受教育才能有出息。而一直待在山上是不会有机会受到良好教育的，苻氏自己当年不过从“丈夫”那里学到了几十个汉字，却已经是族里识字最多的人了。最后苻氏只好带着小苻马下山找生活，好在这段苦日子也锻炼了母子俩，虽然日子过得很苦，但苻氏还是艰难地将孩子拉扯大了......
苻氏这几年里纺织技术虽有进步，仍不足以养活母子两人，何况儿子读书也需要不少钱（琼州此时还很贫穷落后，文教花费自然相对昂贵。），她不得不以女儿身兼作一些一般只有男人才干的重体力活。由于身体劳累过度，苻氏迅速衰老了下去，明明才三十出头的年纪，看上去却好像一个五十来岁的老太婆，她的身体也终于垮了下来，好在苻马很懂事，从十一岁起，就已经想方设法在读书的同时干活挣钱为母亲减轻负担了，正应了那句老话——“穷人的孩子早当家”......
不过，即使由于母亲总是节衣缩食优先供应儿子，还常常冒着危险到城外打猎改善伙食的缘故（注4），苻马的身体倒是发育得很不错。但苻马当时毕竟年幼，不可能干那些重活，所以他基本都是为各种店铺打杂。但由于他的黎人血统（苻氏回娘家的那几年为了让族人接受苻马，给他脸上刺了青，而宋代的汉人虽然喜欢刺青，却绝不会将其弄到脸上，所以苻马无论其他方面多么像是汉人，在绝大多数汉人眼中他依旧是黎人......），苻马屡屡受到歧视和不公正的对待，其中三年前的一次遭遇令他这一辈子都永远也忘不了......
注1：在中国古代，汉人及其前身华夏族作为主体民族创造了无数文明成果，但汉人的优势更