所以合理的解释就是林希元参与了走私活动，所以才需要大量雇佣家丁，正如朱纨所说“招亡纳叛，广布爪牙”。
同时在林希元为自己邀功的上巡按二司防倭揭帖中说道：“幸家丁、店客齐心奋击，擒斩杨薰卿等六贼，因得其姓名、籍贯，以告守巡道。”
劳堪认为这其中的所谓家丁、店客值得深究，首先就是林希元家中所豢养的家丁，他一个致仕的官员，家中豢养这么多的家丁适何用意？他的家丁还能够阵斩倭寇，说明战斗力不弱，如果是在九边，地主、官身豢养一些退伍士卒，有勇力尚且情有可原，那林希元出于什么目的豢养这么多的家丁，他又是如何招募了这么多有战斗力的家丁，他意欲何为？这点是值得深究的。
还有就是所谓的店客，劳堪认为，这些林希元口中的店客，就是走私商人，当时很多走私海商都通过“歇家牙行”收购商品，组织下海，因此史书又称之为“窝主”。既然林希元家中有店客，那么基本可以确定他作为窝主，参与了走私活动。这些店客在倭贼来犯时，之所以能够“齐心奋击”，主要原因恐怕还是为了保护自己的财货。