日军在占领南京、上海后，日军大本营决心打通南北战场的联系，继续分南北两路沿津浦路进攻，以打通南北日军的联系，它的战略目标是占领徐州。徐州位于津浦铁路和陇海铁路的交汇点，自古为兵家必争之地，当时归中国第五战区管辖。

    第五战区司令长官是李宗仁将军，抗战之前他便提出了“焦土抗战”的主张。他手下辖有桂、滇、川、中央、鲁等各路军队，而他对不同系统的军队能给予比较公平的待遇。津浦铁路日军与山东韩复榘的部队隔着黄河对峙了将近一个月。日军见韩复榘无意投降，准备南渡黄河，占领济南。韩复榘自黄河北岸一战以后，已无斗志，只想保存自己的实力。他下令将弹药、给养等军用物资及军官眷属等送往河南南阳、漯河等地。从12月底到1938年1月初不到20天的时间里，韩复榘一退数百里，轻易丢失黄河天险、省会济南，不战而放弃津浦铁路上的泰安、兖州等地，造成了徐州以北的空虚局面。

    韩复榘的行为破坏了第五战区的战略布置，整个津浦铁路北段大门洞开，徐州和陇海铁路暴露在日军攻击之下，第五战区司令长官部大为吃惊，李宗仁责问韩复榘为何放弃泰安，韩复榘竟回电道：“全面抗战，何分彼此，南京已失，何守泰安。”为了严肃军纪，1938年1月11日，蒋介石借在开封召集第一和第五战区团长以上军官开会之机，扣押了韩复榘，并将他押往武汉，经军法审判后于1月24日枪毙正法。一个集团军司令兼省主席因怯战被处死，令全国军心为之一振。

    日军华中派遣军第十三师团于1938年初从六合、滁县等地沿津浦铁路南端北上，先后占领安徽的蚌埠、临淮关、凤阳等地，与华北日军在津浦铁路上的进攻遥相呼应。

    2月初，蚌埠日军500多人在飞机、大炮掩护下，乘坐橡皮艇开始强渡淮河，严阵以待的第五战区于学忠部第五十一军，趁日军立足未稳，将他们聚歼于阵地前。经过淮河两岸边的多次争夺和血战，于学忠部力战不支，日军渡过淮河向北推进。统帅部从第一战区急调第五十九军张自忠部赶至淮河北岸增援第五十一军。

    张自忠，字荩臣，山东人，“七七”事变后，张将军适任天津市长和第二十九军第三十八师师长，因善后暂留平津，临别之前，张自忠对宋哲元等黯然说道：“诸位此去成了民族英雄，我则被人当成汉奸了。”当时的张自忠对日军尚抱有一定幻想，因而平津失守前后国内舆论怀疑他有不利于国家的行为。他的旧部气愤得将他的照片都撕毁了。张自忠从平津脱身返回南京后，仍不能得到人们的谅解，备受冷嘲热讽。但蒋介石听从冯玉祥、李宗仁等人的劝告，仍给张自忠以兵权，让他重返旧部，任第五十九军军长。张自忠决意以战斗来洗刷所蒙受的耻辱，在就职时对老部下说：“今日回军，除共同杀敌报国外，乃与大家共寻死所。”增援淮河是张自忠重掌军权后第一次率部出征，他与于学忠部密切配合，使日军受阻于淮河北岸。

    在淮南，廖磊所部广西军队攻击日军的侧面，日军被迫全部退回南岸应战，双方在淮河两侧形成对峙局面。由于南路日军受阻，日军无法按计划南北齐进夹击徐州，为日后的台儿庄大捷创造了条件。

    此时，山东境内的日军兵分两路。2月至3月间，矶谷廉介第十师团及坂垣征四郎第五师团各一部分分别由津浦铁路北段和台（台儿庄）潍（潍坊）公路向徐州地区突进。这两路日军均为精锐部队，他们以为中国军队已经不堪一击，便放胆孤军冒进。

    3月初，第五师团的坂本旅团约两万人迫近临沂，10日起开始攻击。负责防守该城的是庞炳勋军团长，他的职务虽高，但实际只有5个团的兵力，另外还有从青岛撤退而来的部分海军陆战队官兵可供调度。在日军的猛烈进攻和飞机的轰炸下造成重大伤