值得注意的是，衡阳守军能在短时间内重新构筑大量防御工事，离不开广大衡阳人民的支持。 当时，有近8万民众参与了工事的挖掘构筑，累到吃不下饭却毫无怨言。
日军即将攻打衡阳之时，民众们逃难前也并不慌乱，很多人都说“守城部队第十军是泰山军，一定会和鬼子拼到底”。更令人感动的是，有数千民众一直坚持到衡阳被攻陷。市长赵君迈也留在城中坚持战斗，直到7月25日才突围出城求援。
1944年6月27日，日军对衡阳城发起第一次总攻，早已严阵以待的第十军将士奋起反击。当天，日军第68师团师团长佐久间为人中将被炸飞，使其身负重伤，更使第六十八师团的指挥系统近乎瘫痪。
第十军将士则越战越勇，预10师师长葛先才更是亲自上阵与日军拼起了刺刀。“葛师长赤膊大战张家山”的英雄故事流传全军，使将士们斗志愈加昂扬。
葛先才
到了7月2日，日军伤亡人数在1.6万以上，第68、第116两师团底下多个步兵连平均残存官兵仅有20人。日军发起的第一次总攻宣告失败。
此后，日军又发起了两次总攻，军队人数也从两个师团增加到了五个师团加一个旅团，人数达到10余万。日军动用了一切重武器，甚至施放了毒气弹。但5天过去，10天过去了，30天过去了，衡阳城依旧岿然不动。
在这个艰难过程中，方先觉的斗志和决心极大地鼓舞了士气。有一次，日军的炮弹落在方先觉附近，旁边的人都纷纷卧倒，但方先觉却直挺挺站在那里。
后来，方先觉的副官对方先觉的儿子方略说起此事，并且解释道：恐惧是人的本能反应，可方军长觉得自己是主将，一个炮弹掉下来就吓跑了不像话，他觉得主将不能那么孬。
对比敌我力量，方先觉能率领第10军守衡阳10天就很不容易了。重庆给方先觉下的军令，也是守10-14天。但是，15天过去了，30天过去了，第10军将士们期待的援军却始终没有到来。
在第10军将士的英勇抗击下，日军已被歼灭2万（日方数据，我方估算歼敌4.8万），击伤6万，但日军的增援部队却不断赶来，越打越多。日军发起了第三次总攻之时的兵力已达11万，而第10军战斗人员仅剩1200多人，其他6000人都是伤兵。
8月1日之时，方先觉曾在发往重庆的电报中说道：
本军固守衡阳，已近月余，官兵忠勇用命，前赴后继，得以保全，但其中可歌可泣之事实，与悲惨壮烈之牺牲，令人不敢回忆。现官兵伤亡惨重，东抽西调，捉襟见肘，弹药缺乏，敌人猛攻不已，危机隐伏，可想而知！非我怕敌，非我叫苦，我绝不出衡阳！但事实如此，未敢隐瞒，免误大局。
事实上，早在半个多月以前，重庆方面就下令对衡阳解围。部署在衡阳附近的第62军、第74军、第79军、第100军、第46军五个军先后参战，而日军前来阻击的只有第40师团、第68师团的一个旅团以及第116师团和第58师团各一个联队，总计不到两个师团的兵力。
然而，由于军令不严，未明确指出解围的期限。守城有明确的期限，为何解围就没有期限？再加上当时派系复杂，不少高级将领想着保存实力好日后划分地盘，因此进度极慢。甚至还有高级将领嫉妒第10军英勇抗战，竟说出这样的话:衡阳解了围，方先觉岂不是成了民族英雄？
衡阳的守军根据城外交战的枪声来判断援军的距离，当枪声越来越近之时，他们便万分振奋。然而，枪声又一次又一次远去，致使他们近乎绝望。如果援军不来，衡阳是注定要被攻破的。不过，他们并未丧失斗志，而是咬紧牙关拼死保卫衡阳。
在所有的援军中，张灵甫率领的74军58师最为积极。当时张灵甫和方先觉其实还未结为亲家，但他们都属于那种刚直、有个性的将领，不说志趣相投但也惺惺相惜。因此，虽然当时58师经历了宁乡保卫战后又与日军第40师团激战，部队减员一直没有补充，但张灵甫仍全力向衡阳支援。
