倭寇之后，王直也力有不逮，十月，倭犯浙江台温等府，乐清临海象山等县及福建福州兴化泉州福清等沿海郡邑，同时登岸焚劫，大明损失惨重。
倭寇现在的进犯重点又从南直隶向浙江、福建转移，由此引发了浙直总督唐顺之和浙江巡抚胡宗宪的矛盾，唐顺之一向以南直隶作为防御重点，因为这里是大明财赋的重心，保证江南八府的安定，朝廷的漕粮才有保证，故而唐顺之将重兵屯驻于苏松，防备倭寇。
这次倭寇突犯浙江、福建，胡宗宪认为这是唐顺之的失职，若是唐顺之提前将水师移驻杭州，同时支援浙江，倭寇不会造成这么大的损失。
但是唐顺之仍然坚持自己捍卫苏松的方针不变，上疏指出浙江本有总兵，胡宗宪作为浙江巡抚，负有守土安民的职责，不能事事请求调发援兵，唐顺之因为此事和胡宗宪激烈的斗争起来。
但是胡宗宪在此时从舟山获得一头白鹿，进献给嘉靖，嘉靖大喜，甚至因为这头白鹿，特地遣英国公张溶告庙，唐顺之反而要求嘉靖增加留存，减少起运，现在朝廷财政本就吃紧，唐顺之的这份奏疏当然令嘉靖极为不喜，当即下来调唐顺之为南京兵部左侍郎，升胡宗宪为兵部尚书兼左副都御史总督浙江、南直隶、福建等处军务事。