而霍山因为距离更近、道路稍宽，必将成为日军机械化部队撤退的首选，更突显其地理位置之重要。`
因为霍山地处大别山腹地，其复杂的地形和陡峭的山岭，让日军放松了警惕，只在此处放置了日军一个大队和皇协军一个大队的兵力，而且在六安遭到攻击之后，日军还从这点兵力中抽调了三分之二驰援六安，这也给了新四军第二支队可乘之机。
新四军曾经长期在大别山活动，对这一带的地形自然熟悉无比，第二支队利用十多天的时间，横穿了大别山，走的根本是日军想都不带想的道路。一千人马直扑霍山，直接从霍山的后方杀出，狠狠地打了日军一个措手不及。另一千人马在半路设伏，等走到半路惊闻霍山遭到攻击，又急急忙忙往回走的日军进入伏击地，一千将士机枪、掷弹、火箭筒如雨点般地横扫而出，第一轮就歼灭了日军一大半，随即一个冲锋就将他们全部淹没，独特的山沟地形，让日伪军连逃脱的机会都没有。
新四军虽然只有两千来人，但都是部队里挑出来的精干将士，携带的武器也精良，虽然没有炮火，但他们得到过蒋浩然的援助，轻重机枪、掷弹筒甚至是火箭筒，都有不老少，再加上兵力几乎是和日军差不多，但整体素养却高出一大截，战斗