朱两人的是非忠奸，其中有一条是跟女人扯上关系的。那就是，唐仲友与官妓严蕊到底有没有私情?
想必，朱熹也有证据：“(唐)公然与之落籍，令表弟高宣教以公库乘钱物津发归婺州别宅。”他派人把严蕊抓来，严刑拷打。有野史说，朱熹因为追求严蕊不得而报复，也有笔记说朱熹和唐仲友有利害冲突才想扳倒唐;第一条当然不是真的。但第二条呢，公器与私怨杂揉，很难说清楚。
严蕊就这样被下到监狱里拷打。“杖其背，犹以为伍佰行杖轻”，好可怕。这就牵涉到当时名妓的另一个重要素质了：嘴是否紧。严蕊只说与唐仲友是工作关系，完全不承认有私情。朱熹打得没有办法了。又移绍兴狱中，让狱吏以好言诱供，结果严蕊答道：“我出身微贱，即使我跟太守有私情，也不是什么大罪，现在打也打了，我招了拍拍屁股走人就行了。然而事实就是这样，怎么可以随随便便就诬陷士大夫呢，死我也不干。”又一顿好打，几乎把这个小女子打死。
当然，光是从这件事来看，唐仲友就不是什么好东西，严蕊为他挨打地球人都知道了，他也不跳出来说两句。你们一群文人在那里咬着舌头辩论，女人为了你的官衔，都被拷打得死去活来了，还那么心安理得，呸呸。
皇帝宋孝宗看朱熹为了严蕊就赖在台州不走了，闹得太不像话了，让朱熹改官。朱熹满心不高兴地走了，来了个岳飞的后代岳霖，为浙东提点刑狱公事。他敬佩严蕊，把严蕊请出来，看她伤痕累累，让她作词自陈。她口占《卜算子》一词：
“不是爱风尘，似被前缘误。花落花开自有时，总赖东君主。去也终须去，住也如何住!若得山花插满头，莫问奴归处。”
岳霖惜才，即日判令出狱，脱籍从良。
这首词，其实是唐仲友亲戚高宣教写给严蕊送别时的一首词，严蕊有急智，用在这里，倒是妥妥的。
一直还有人想知道严蕊的故事，后来，严蕊写了一本狱中回忆录，开篇一句就是：“神女生涯原是梦，小姑居处本无郎。”
你信？还是不信呢?