3月下旬，国民党军对山东解放区的重点进攻正式开始。先后被调往山东战场的兵力达到24个整编师(军)、60个旅，45万人，并以其精锐主力整编第74师、第5军、整编第11师为骨干，分别编成三个机动兵团，担任主要突击任务。
其中第1兵团8个整编师共20个旅20万人，由司令官汤恩伯指挥，是进攻的主要集团，该兵团企图首先占领沂水、坦埠一线，尔后与第2、第3兵团通力向北、向东进攻，迫使华东野战军主力决战或北援黄河。
另外，第2绥靖区5个军部署在胶济铁路(青岛一济南)和津浦铁路(天津一浦口)泰安以北地区，策应3个兵团作战;第3绥靖区2个整编师在峄县、枣庄为2线部队。
4月上旬，国民党军以一部兵力打通了津浦铁路徐州至济南段和临沂至兖州的公路，占领鲁南解放区后，三个兵团分别由临沂、泰安、泗水向鲁中山区发起全线进攻，企图寻找华东野战军主力决战。
敌军总兵力达13个整编师(军)、34个旅，25万余人，相当集中，为了避免在进攻中被华野分割歼灭，采取了“密集靠拢、加强维系、稳扎稳打，逐步推进”的方针。
4月初，华东野战军自焦济路南下，隐