不允许赫鲁晓夫插手改革，两人形同水火。另外，朱可夫曾动用军队帮助赫鲁晓夫巩固政权，这无疑是他的功劳。但在战胜敌手后，赫鲁晓夫也开始对威望日增、权倾一时的朱可夫感到恐惧。这也是他要解除朱可夫国防部长职务的根本原因之一。
赋闲在家晚年凄凉
也就在这时，朱可夫认识了比他小30岁的加林娜，并与之结为夫妇。在朱可夫60岁那年，他们的女儿出生了。这期间，朱可夫花了极大心血写出回忆录《回忆与思考》，却被禁止出版。
一气之下，朱可夫中风了。在生命的最后9年里，朱可夫饱受病魔摧残。更令他痛苦的是。几乎所有的朋友都疏远、乃至背叛了他。只有巴格拉米扬和华西列夫斯基两位元帅冒着风险与他保持着友谊。
1973年年底，朱可夫深爱的妻子加林娜因乳腺癌病逝，而那时朱可夫已老得连去墓地的力气都没有了。爱妻死后不到8个月，朱可夫的病情更加恶化。他先是心肌梗塞复发，随后是心脏停跳。被注入特殊药剂后，他的心脏恢复跳动，但脑供血却没有恢复。就这样，戴着人工呼吸器，朱可夫毫无知觉地走完了生命的最后5天。
1974年7月18日，一代名将朱可夫元帅溘然长逝，享年78岁。他的葬礼。没有一位领导人出席，甚至生命的最后一刻，他也未被平反。1995年5月，俄罗斯纪念世界反法西斯战争胜利50周年之际，朱可夫的名誉才被彻底恢复。