杭州附近逛了一圈后，发现城池守备森严，他们没有机会有所作为的时候，这伙倭寇已经向严州府转移了，而严州府淳安县已是浙江最西部，再往西就是南直隶徽州府地界。只要把他们“送”到南直隶地界，浙江官场就可以无忧了，说白了浙江文武官吏们就是想把这伙倭寇礼送出境，只要这伙倭寇出了浙江，那就和他们无关了。
说白了，浙江官府的举动就是四个字，以邻为壑，在浙兵的驱赶下，这伙倭寇沿着濠岭盘山而上，顺着新安江逆流方向，继续向西。他们走的路线，是“淳歙相通之捷径，又即徽、严往来之孔道”。他们盘山而上后，浙江官府目的已经达到，不再追赶；他们越过豪岭，到达徽州府的歙县，已是南直隶辖区，胡宗宪和王直的老家。
朱载坖明白，这伙倭寇对于大明地理的熟悉，远非一般倭寇可以比拟的。
朱载坖当即决定给嘉靖上疏，痛陈此事的厉害，可是他提起笔来，却不知如何下笔了，总不能直接告诉嘉靖，这伙倭寇就是要袭扰南京吧？朱载坖现在没有任何证据，即便是说也没人相信。