以小和田光盛为头目的倭寇攻打温岭县城的计划破产，被明军水陆部队赶出海面。往哪里去呢？小和田光盛想，眼下没有好去的地方可去，不如回到原来的老地方岑港。
小和田光盛为什么把岑港作为老地方呢？在杭州湾海域的南侧、宁波府东部海域，有一个港口城市密集的区域，从北向南依次分布着岑港、定海、沥港、普陀、双屿港五个港口城市，其中岑港位于最北部，从杭州湾出外洋，岑港首当其冲。反过来说，船只要从外洋驶入杭州湾，大多在岑港停留。岑港与杭州湾北岸的乍浦、、柘林隔杭州湾相望，由岑港可以径直驶向乍浦和柘林。岑港是著名的避风港口，水深、港阔、浪小。五峙山列岛雄峙于岑港西北部，使岑港作为倭寇巢穴颇有周旋余地。这种特殊的地理条件使岑港早就成了倭寇的巢穴之一。早在双屿港被朱纨打掉以前，岑港就已经成为倭寇的活动据点之一。双屿港被明军捣毁后，倭寇在沿海据点站不住脚了，在岑港的倭寇也都暂时离开岑港去他处漂泊。朱纨被对头扳倒自杀后，倭寇卷土重来，岑港从此成为倭寇最重要的巢穴。
最近两年里，倭寇出于军事需要，在岑港大量修筑军事设施，在岑港修筑了木城。司前街后面的岑港山上修筑了坚固的军事堡寨。岑港地势复杂，易守难攻，于是倭寇准备把这里作为长久的基地。
小和田光盛为头目的倭寇在杭州和松门卫温岭连续遭受明军沉重打击后，准备回到岑港暂作修整。想不到在岑港附近海域又遭到署都指挥佥事刘恩至水军的截击。这刘恩至是六年前的武状元，个人武艺可以说是整个大明天下的第一高手。刘恩至凭着一把一百零八斤的大刀，曾经在捣毁双屿港的战斗中大显神威。此时小和田光盛在杭州和台州温岭连续遭受明军打击，心中怯战，被刘恩至水军一顿炮火，当即掉头向着定海方向逃跑。刘恩至率领水师紧追不放，倭寇不敢在定海停留，直接进入普陀山的芦花港，准备上普陀山凭险死守。刘恩至知道倭寇的目的，抢先封锁了由芦花港上普陀山的道路，对芦花港的倭寇进行持久的炮击。由于小和田光盛的部队长时间地流动作战，特别是在杭州和台州温岭两次大战中，武器弹药几乎消耗殆尽，所以此时面对明军的炮击，完全没有回击的能力，经过明军长时间的持续炮击，多艘船被击沉，一百多人被打死或者溺死。倭寇仓皇冲出包围圈，向着临山方向逃跑了。
临山所城位于杭州湾南岸，余姚县西北部，是浙东著名的“三卫”之一。这里面山背海，环卫皆山，故名临山卫。临山从唐代开始便有明确行政归属，据唐《十道志》载，当时临山分别归属于姚娘、余福、余支三里。明洪武二十年，信国公汤和于余姚上虞的西北部建置卫所巡司，以御倭保疆。于是在上虞故嵩城东山三都修筑临山卫城，抽调南北各省军守卫，后来实行从台州和温州等地征用民夫中的四分之一作为军队驻守卫所。包括左右中前后五千户所，外辖三山、沥海二守千户所，并隶属浙江都指挥使司。
临山卫城辖地东至三山所六十里，西至沥海所六十里，南至余支湖五里，北至海五里。城内街巷包括东西大街、十字路、学堂弄、鲍市弄、雅貌弄、蒋家弄、卞家弄、当店弄、新邵家弄、染店弄、落桥弄、天宝弄、土地堂弄、马兆河等。临山卫公署衙门位于大街北部，凤山镇远楼下。有厅五间，偏房三间，左右耳房各四间，左右史廊各十一间，仪门三座，外门三座，门前有旗台两座。在仪门东西两侧分别建有经历司、知事厅、土地祠、镇抚司、狱房、以及左、右、中、前、后五个千户所办公用房。在仓山的东部，运河的北部，还有一座军粮仓库，仓库宽二十六丈，进深六十丈。
这一天，以小和田光盛为头目的七八百名倭寇在眨巴眼的带领下，在余姚县境的临山卫城以北五里的一个海湾把船停下来，登上海岸向着临山卫城进发。短短的五里路程，一顿饭工夫就到了临山卫城附近，经过一番侦察，发现临山卫城只有一百多名明军驻守，而且发现有一处城墙坍塌了两三丈，这一下小和田光盛高兴了，命令部下一个冲锋就杀入了临山卫城。
倭寇杀入临山卫城，明军虽然进行了抵抗，但是兵力对比过于悬殊，一百多人无法抵敌，只得带领老百姓撤出城池。由于倭寇经受了一连串的打击，饥饿和极度的疲劳使倭寇没有力量抢掠货物，集中力量寻找粮食做饭。
倭寇饱吃了一顿，在城内睡了一个好觉。第二天吃了早饭，倭寇准备到附近村子里找一些马车拉货物，将临山卫城中的粮食和食盐以及比较值钱的货物运往海边停船处装上船。
在临山卫城的东北部有一个泗门镇，地处余姚县境西北部。泗门镇上的“淳厚里”有一个余姚最有名的名门望族，是大学士谢迁的故里。谢迁是成化十一年状元，官至太子太傅、户部尚书、谨身殿大学士；二弟谢迪是弘治十二年进士，官至广东左布政使；次子谢丕是弘治十八年探花，官至吏部左侍郎。谢迁其他五子也各有荫封，如长子谢正官至礼部仪制清吏司员外郎；三子谢豆官至大理寺左寺副；四子谢亘官至左军都督府经历；五子谢至官至山东武定州判官；六子谢绛溪官至胶州同知。
泗门谢氏始祖祠堂是宁波地区规模最大、历史最悠久的家族祠堂