新中国的各方面建设都在摸索阶段，战争渐渐少了，地方上需要人才的缺口便多了起来，因此，在有一段时间里，焦玉山离开了他所热爱的人民军队，转任到了公安系统上。
他先后担任了广东省公安厅副处长、处长、省公安纵队副政委的职务。
即使是在地方工作，他的业务水平也很高，做出了不俗的成绩。
军队中的一些老领导听说塔山英雄团的团长如今在公安系统中，还是觉得，像焦玉山这样的战将，还是适合去部队上干，于是帮他介绍，想让他重新回到部队上。
无论是何种身份，对于焦玉山而言，只要能为人民服务，其他都不重要。
在重新回到部队以后，焦玉山便被重用起来，很快便升任至47军副军长，随后也先后担任了广西军区副司令、广州军区副参谋长等职务。
在这期间，焦玉山再次有了用武之地。
1974年1月，南越派出舰队北上，占领了中方的甘泉岛和金银岛，并且将多位中国渔民和民兵打伤，他们目中无人，甚至一度开始攻击中国的巡逻舰艇。
在这种情况下，中方迫不得已开始采取反攻策略，增加了巡逻舰艇进行反击。
总参谋部，也正式成立了六人领导小组，由*和叶剑英具体负责，并由广州军区司令员许世友执行具体的作战方案。
而在具体的作战中，焦玉山也参与了实际的指挥。
1月19日，在永乐环礁处巡逻的4艘中国小型舰艇和南越的四艘美式舰艇展开了周旋，越军没有沉住气，先行开火，海战也就此爆发。
中方也早已做好了准备，并立即还手，正在激战的时候，在其他地方执行巡逻任务的两艘支援舰也迅速赶到参战，并且击沉了越南的一艘护卫舰，还击伤了三艘越南的驱逐舰，随后越南舰队眼看情况不妙，也迅速逃跑。
解放军非常清楚，越南的*扰不会轻易停止，必须要有一些实质性的进展。
因此，*电令许世友开展夺岛之战，这件事的源头，那就要追溯到1956年南越对西沙群岛的侵占了。
后来的两天激战中，中国军队英勇出击，毙伤了越南官兵过百人，还俘获了48人，海战也以中方大获全胜而告终，南越的阴谋被粉碎。
就在这场战争的五年以后，焦玉山再度出征，指挥和参加了一场更为激烈的战争，对手还是熟悉的越南，这场战争的名字被称为“对越自卫反击战”。
当时，*当面任命广州军区司令员许世友上将为东线广西边防部队的总指挥，焦玉山当时也在这个方向的部队之中。
在这场战争中，东线是主战场，战略意义很大，在全军将士的努力下，战果也非常明显：部队迅速出动，攻下了谅山，逼近了越南首都河内，一度迫使越南发动了“全民皆兵”的命令。
