此时，中央军委和*电令：“为迅速扩大已取得的主动权，应即短期休整，速向大别山跃进。羊山之敌如能迅速歼灭，则歼灭之，否则即转入休整。”
根据指示，刘、邓首长研究后认为，各路援军尚在途中，金乡之敌已无力北援，主力可以集中，完全有迅速歼灭羊山之敌的把握。于是，乃重新侦察，调整部署：以二纵六旅由西向东攻击，五旅由“羊尾”向东迫近“羊背”。三纵七旅和六纵十六旅从北向南攻击，直取羊山主峰。三纵八旅由东向西攻击“羊头”。并配有野司榴弹炮营和一纵队的炮兵团，加强火力，着重夺取制高点。经过细密的准备工作，于7月27日晚对羊山集之敌发动总攻，激战一昼夜，全歼了羊山守敌六十六师。生俘敌中将师长宋瑞珂、少将参谋长郭雨林、副参谋长王开石、一八五旅少将旅长涂焕陶、参谋长马用之、十三旅参谋长龙椒平、一九九旅少将旅长王仕翘、副旅长柯竹等官兵23000人。
鲁西南战役纪念馆中羊山战役牺牲的部分我军指战员烈士墓碑
羊山战役打得异常残酷，我军做出了重大牺牲。为了纪念牺牲的同志，解放后，在羊山头上建起了规模宏伟的烈士陵园，烈士墓区共安葬1471位烈士。
“羊山战役”的结束标志着“鲁西南战役”的全胜，它打开了中国人民解放军战略进攻、挺进长江的前门和通道，为挺进大别山打开了通路，实现了大举出击，经略中原的战略意图。
刘伯承司令员满怀胜利的喜悦和豪情，写下了他的著名诗篇：
,“狼山战捷复羊山，炮火雷鸣烟雾间。千万居民齐拍手，欣看子弟夺城关。”
