为精良、机动作战能力强的第二十军团汤恩伯所部4个师，火速南下赶至台儿庄，从背后攻击日军。师长池峰城看到台儿庄处境危急，死守下去必然全军覆没，便询问孙连仲是否可以撤退，孙连仲总司令的回答是：“士兵打完了你就自己上前填进去。你填过了，我就来填进去，有谁敢退过运河者，杀无赦！”

    4月1日午夜，池师长组织了数百名敢死队，分成几个小组，夜袭日军，冲入敌阵。日军没有想到中国军队还能反攻，乱成一团，经过一个通宵的混战，台儿庄大部分地区又重新被守军控制。汤恩伯已率部赶至战场，关麟征军占领台儿庄以北的林庄，从侧背向日军发起猛烈攻击。日军濑谷旅团撤退不及，陷入重围，已成强弩之末，机动车辆多数被毁，剩下的也因缺乏汽油陷于瘫痪。从临沂赶来的第五师团坂本旅团与台儿庄日军合流。

    4月3日，第五战区开始总攻。日军死伤万余人后，被迫突围，向峄县、枣庄地区撤退。这就是有名的台儿庄大捷。台儿庄大捷是中国军队自抗战以来第一次在正面战场上击败日军，对国人有很大的鼓舞，武汉等地军民为此举行了盛大的游行以示庆祝。

    蒋介石对徐州会战十分关注，曾亲临徐州视察，并派副参谋长白崇禧组织参谋团协助李宗仁指挥作战。台儿庄大捷使得中国的高级将领有点过分乐观，统帅部调集大量兵力前往徐州以图扩大战果。不到1个月，援军已有20多万人，加上战区原有部队总兵力已超过60万人。日军大本营侦知徐州附近集结有大量中国的主力部队，命令华中派遣军与华北派遣军协同作战，从南、北两方向夹击徐州，意在捕捉和消灭中国野战军主力。

    日军以第五、第十师团在峄县、枣庄一带固守，吸引第五战区的注意力，汤恩伯等部虽不断攻击，但因缺乏重武器，总不能取得决定性进展，相反在进攻中造成重大伤亡。日军第十六师团和一一四师团等部增援峄县、枣庄，至16日后形势逆转，日军已经转守为攻，再次向台儿庄方面进犯。来自云南的卢汉部第六十军在台儿庄和禹王山一带与日军血战20多天，挡住了日军的去路。日军见第五战区主力已经被吸引在徐州周围，从各个战场调集13个师30多万人分6路向徐州大包围。日军第十三师团攻占了徐州西南的永城一带，5月13日，由永城北上，炸毁了汪阁东面的铁桥，截断陇海铁路。5月15日，统帅部见南、北日军已对徐州构成包围，决定放弃徐州。16日，第五战区军队陆续开始向日军兵力较薄弱的西南方向的豫、皖等地撤退。第六十军是最后撤出徐州城的，5月19日，日军占领徐州。

    在大军撤离时，为避免日军飞机轰炸，多数部队都是昼伏夜行，日军因兵力不够，夜间不敢外出阻击，各路中国部队都能从日军的接合部寻求空隙突围，避免了淞沪会战撤退时发生的悲剧，日军围歼中国军队主力的计划没有成功。