这无疑在唐寅人生最低谷的时候雪上加霜。
唐寅的第三任妻子就是沈氏，人称沈九娘。沈九娘虽然曾沦落风尘，但嫁入唐家之后，一直恪守妇道，对唐寅体贴入微，还为唐寅生下一个女儿。然而沈九娘和徐氏一样，先于唐寅一步，告别了人世。
唐寅的三个妻子，一个弃他而去，两个英年早逝。不论是寄情风月，还是借酒浇愁，都藏不住他内心的苦楚。在婚姻的道路上，唐寅是孤独的。
秋香实乃大唐寅二十余岁的青楼女子
既然在众多民间传说中，唐伯虎成了“风流才子”的代言人，那么必然要有一些风流韵事，供大家茶余饭后嬉笑一番。于是便有了“唐伯虎点秋香”的故事。然而这也不是凭空虚构的，该故事的雏形最早出现在明代的笔记体小说中，其中明代小说家王同轨先生的《耳谈》，叙述的故事情节和现在我们知道的“唐伯虎点秋香”基本吻合，只是主人公是一位陈公子。到了明朝末年小说家冯梦龙的手中，《耳谈》中的因笑传情，就变成了《唐解元一笑姻缘》，之后又由“一笑”变为“三笑”，情节也越变越复杂。
那么，在历史上到底有没有秋香这个人呢?有。秋香，本名林奴儿，字金兰，号秋香。她是金陵妓院中的名妓，琴、棋、书、画样样精通，在历史上确实被人点过。是不是唐伯虎点的呢?肯定不是。因为据考证，秋香比唐伯虎大20岁。她有不幸的家庭遭遇，没有办法才堕入青楼。因为人品好，后来转业从良了。
人家从良的时候唐伯虎还只是个小小孩童呢！