该城东端紧临湘水西岸。防守衡阳的部队为第10军，下辖第3师、第190师及预10师。第190师及暂54师原在湘江以东，日军第68师团独立第64大队攻占湘江东飞机场，将190师及暂54师从中间割断后，第10军为集中兵力、缩短防线，于26日夜将该两师调回湘江西岸衡阳市区。
其中第190师是后调师，仅有1个第570团是个完整的团，其余各部均仅有干部;第3师有1个团尚在衡山附近。另外还配属有暂54师(欠2个团)及48师的战防炮营、第46军的1个山炮连和第74军的野炮营。此时在衡阳的防御部署是:第3师防守衡阳西北部，预10师防守衡阳西郊，第190师防守衡阳南郊，暂54师防守衡阳北郊。
6月27日夜，日军完成了攻城的准备 。6月28日拂晓，日军发起总攻。守军各部队在炮火支援下坚守阵地，并不时予以反击。激战终日，日军毫无进展。第68师团师团长佐久间为人及其参谋长原田贞三郎等被炮击负重伤，由第116师团师团长岩永汪统一指挥两师团。
29日日军仍毫无进展。岩永汪将衡阳以西四塘附近担任侧背警戒的第133联队投入战斗，与炮兵第122联队协同，企图于7月1日进攻城西坚固