许还山拍摄于1964年
那既是在精神上自我解脱的方法，又是充实知识的好机会。
到1961年年底，他被摘掉右派帽子，插入下四届的班级继续学习。经济困难时期，又因某种不足道的事情受到了比前一次更为严厉的惩罚，“新帐老帐一齐算”，被送去劳动教养了。
他干过翻砂、铸造、造型、刨工等不同的工种。这些体力劳动都是相当繁重的，但他却感到一种特殊的满足。过去他还从来不知道社会上有这么精密的分工。
在新疆农场时的许还山
1965年他被解除劳动教养后，第二年就报名支援边疆，经五天五夜，到了祖国大西北的新疆。
由于对大城市生活的厌倦和政治上的打击，他开始追求一种比较超脱同时也更为丰富的生活，于是在戈壁滩上开始了全新的生活。
许还山在电影《归宿》(1981)中的影像
到了1967年，和他同在一个农场干活的同事，看到许还山是个不错的小伙子，就把自己的妹妹介绍给他，这是他的第一个妻子，是个懂汉语的维族姑娘，后来两人因为性格不合而分手。
之后，他把热情都投入到工作中去了，参加过炸山造田、开渠引水、拓荒种地、建筑房屋......当过架子工、瓦工、木工、技工和描图员。
许还山在电影《归宿》(1981)中的影像
6年以后，又到一个园艺场当副大队长，除了负责拥有几百人的石灰窑、猪场、鸡场、酱油作坊、豆腐坊、农业队和基建队的管理之外，还要负责算帐、发放工资和口粮，给知识青年上课，讲授数理化。
生活是十分艰苦的，工作也是非常繁重的，但是他却一直精力旺盛，热情饱满。为了建设新生活，他自修力学和微积分，亲自设计职工住宅和大礼堂。
