后来，赫鲁晓夫住在彼得罗沃-达利涅耶别墅，实际上是被严密监视的。只有去格拉诺夫斯基大街医院或者中央临床医院看医生，才能获准外出。想要去别的什么地方，一般是不被批准的。配给他的一辆吉姆车和一辆伏尔加也很少使用。
直到赫鲁晓夫去世前几年，对他的监视才有所放松。可以参观花展等类似的活动。来赫鲁晓夫家的人也不多，除了家庭成员的客人均需经过仔细的检查。勃列日涅夫很忌惮赫鲁晓夫，他不相信他会就这样默默无闻而善罢甘休了。他们把每一个来访者都视为通风报信者。
到了赫鲁晓夫临终前两三年，很少外出，时常有客人来访。1970年，他孙女尤丽娅把歌唱家维索茨基请到家来，呆了一整天。还有前来拜访他的南斯拉夫大使米丘诺维奇、匈牙利共产党*亚诺什·卡达尔和美国副总统尼克松都因未得到苏共允许而被拒之门外。尼克松已经到了赫鲁晓夫在市内旧马厩胡同的住宅前，却有人告诉他说赫鲁晓夫现在已经离开了莫斯科。
1968年，赫鲁晓夫被苏共中央找去，逼他把正在撰写的回忆录交出来，可是赫鲁晓夫说：“你们可以把我抓进监狱，也可以没收我的笔记。这些你们今天都可以干，可是我坚决抗议。我受到软禁。你们的卫队监视我的一举一动，不是卫队，是看守；你们还违反宪法，整个别墅都安上了窃听器；连茅房也不放过；把人民的钱花在偷听放屁上头。”
其实，在赫鲁晓夫走下神坛之后，他除了被严密监视外，总体来说他自己过的还是比较充实的。因这他终于可以自己支配时间，有时间看书，看电视了，听外国电台的俄语广播节目。同时也培养了自己的一些爱好，一度着迷摄影。还弄到了一套当时比较先进的摄影器材，拍摄了不少雪地、树木和花鸟的好照片。
他还把更多的时间是用于种地，伺弄花园和菜园。他一度对种植西红柿十分兴趣，一下种了一两百棵良种西红柿，每天凌晨4点就起床浇水，伺弄十分精心，果实长得很大，丰收在望。不料一场早霜毁了他的劳动果实，让他伤心不已。他还一度喜欢上无土栽培。他不顾年迈体弱多病，亲自制作营养池，准备营养液，等着获得好收成，并信心十足地说，无土栽培是农业的明天。不过收获的黄瓜和西红柿成本太高，比市场上的要贵十多倍。
然而到了1970年以后，赫鲁晓夫经过了7年漫长的被监视而又算是充实的“退休”生活，身体每况愈下，因心脏复发，于1971年9月11日去世。享年78岁。
苏联*在赫鲁晓夫葬礼问题费尽了心思，意在让他无声无息地离开这个世界。9月13日《真理报》只发了一条赫鲁晓夫逝世短讯。就这样，曾经叱咤风云的苏联最高*赫鲁晓夫，走下神坛后，经过7年的“退休”生活，悄然离去。
