16年6月下旬，北伐军扫荡鲁南。张宗昌、孙传芳重新整顿，于济南会议决定乘革命军兵力不能兼顾之际，反攻徐州。张宗昌之白俄军乘铁甲车猛攻，北伐军虽英勇抗御，终难扭转形势，7月24日退出徐州。蒋中正为了实践徐州会议时的诺言，遂于民国16年8月12日宣布下野。随同蒋中正离开南京的，有胡汉民、吴敬恒、蔡元培、李石曾、张静江等。蒋中正离京后先至上海，再转返原籍奉化。蒋中正于9月28日自上海动身赴日本，曾在东京发表告日本军民书：“不佞来游，虽为日尚浅，而观于贵国国民对中华民族之观念，无彼我之别，充满平等之一精一神，已得极亲爱之印象。贵我两国之关系，孙先总理常以兄弟之国相许，相信贵国国民希望中华民族之自由与独立，必较他国为更切也。然则贵国朝野如彻底谅解我国民革命运动，对之与以道德上一精一神上之援助，不利用举国民所痛愤之军阀，以阻挠国民革命之进行，斯即对我国民革命运动为莫大之助，同时且为两国根本亲善之要谛也。如是国民革命之完成，得使两国益加睦辑，俾贵国在东亚之地位益形安泰。同时或得以贡献于世界之和平乎！三民主义之国民革命，于民族历史上革命一精一神上抑于世界思想趋势上，必可完成。无论如何之强权，必不得永久抑压阻挠之也。”1月10日下午1时3刻蒋中正由日本返抵上海，国民党第二届中央执监委员乃齐集上海，于12月10日召开第四次全会预备会议，通过复任蒋中正为国民革命军总司令，阎锡山、冯玉祥等亦推代表至上海促驾，国民党更吁请汪兆铭发表宣言出国考察，并解散特别委员会。元月4日，蒋中正由上海返南京，5日宣告复职，重组国民革命军总司令部于南京三元巷。通电昭告全国，继续行使国民革命军总司令职务，除政治、党务追随中央诸委员共同负责外，同时秉承中央指导，专司军令，俟北伐完成，即当向中央正式解职以谢去年弃职引退之罪。元月8日国民政府特任蒋中正为北伐全军总司令，以国民革命军之作战军、国民军联军之作战军、北方革命军之作战军、航空军之全部组织北伐军，由总司令统辖指挥之。北伐军总司令蒋中正参谋总长何应钦第一集团军总司令蒋中正（兼），总参谋长杨杰（辖第一军团刘峙，第二军团陈调元，第三军团贺耀祖，第四军团方振武，总预备队朱培德，炮兵集团陈诚，后方警备部队钱大钧，航空队张静愚，铁甲车队屠金声。）第二集团军总司令冯玉祥，总参谋长刘骥（辖第一方面军孙良诚，第二方面军孙连仲，第八方面军刘镇华，第九方面军鹿钟麟，骑兵第一军郑大章，铁甲车集团刘自珍。）第三集团军总司令阎锡山，总参谋长朱绶光（辖右路军徐永昌，左路军商震，中路军商震，预备队丰玉玺，炮兵集团周玳。）海军总司令杨树庄，参谋长李景（辖第一舰队陈季良，第二舰队陈绍宽，练习舰队陈训咏，鱼雷游击队曾以鼎。）同时军委会另颁密令三则，分电蒋中正、冯玉祥、阎锡山、杨树庄等遵照，其文如次：“某总司令勋鉴：甚密，兹颁发密令如下：（一）北伐全军以国民革命军总司令蒋中正统辖之。（二）北伐军之兵力，以国民革命军之作战军，国民联军之作战军，北方革命军之作战军，海军之作战舰队，及航空军之全部任之。（三）各作战军之经理卫生及野战器具材料之补充，除照原有顺序办理外，由军事委员会统筹补助之。”蒋中正复职后，一面征调第四军缪培南部由粤入赣，方振武部自信一一开归德，方鼎英部自粤经赣、浙转苏，钱大钧部自粤经闽、浙入沪；一面令散住皖、赣、苏、浙军队，准备出发。随复于2月9日亲赴徐州，召集各军官长训话，改编徐、海各军为三个军团，调何参谋总长应钦，留守南京。复指示第一二两集团军在曹、丰间确取连络，实行战略展开。2月16日转抵开封，召集冯玉祥及第二集团军总参谋长刘骥、山西阎锡山代表邵某，第一集团军总参议何成浚，总司令部参谋处长葛敬恩等，商讨北伐大计。与会人士均主早日大举，尤以第三集团军方面主张尤为激切。当晚，蒋、冯两总司令，复密商大举北伐日期，及军队调动，战线调整，军费筹措，军实给养诸大端，决定总攻步骤。北京方面张作霖在17年2月初旬召开干部会议，图谋反攻，作全面之进犯，到了2月中旬，第二次召集干部会议，决议对京汉及山西方面取攻势，对津浦路方面取守势。最后则改为对京汉及津浦路均取守势，惟对山西则取急剧之攻势。以张学良的三、四方面军主力及张作相军攻晋，以三、四方面军的一部配置于京、汉路对豫北取守势，其他褚玉璞、孙传芳、张宗昌三部，则配置于大名、济宁、临沂一带，对南取攻势防御。打算先下山西，然后向南进展。民国17年4月1日，蒋中正在徐州行辕除通令第二、第三集团军期以4月7日开始总攻击外，并于4月3日召集所属参谋长至徐面授作战命令。蒋中正并于4月7日誓师。蒋所亲自指挥之第一集团军战略目标，集中优势兵力，以两翼包围击破鲁南及济宁地区北洋军进占济南为主，全军在徐海、砀山、陇海路以北地区集中，其所属各军团按以下位置部署：第一军团在徐州东方八义集、大许家、贾旺、利国驿及徐州附近集中。第二军团在海州、新安镇、运河北站附近集中。第三军团在丰县、沛县各附近集中。第四军团在单县、城武各附近集中。第二集团军第一方面军（孙良诚部）在曹县、菏泽各附近。4月10日张静愚的航空队侦察发现北洋军之铁甲车扼守韩庄、运河铁桥北端，韩庄东运河北岸工事坚固。革命军乃展开攻击，经激战后，攻克禹王山、胜一一山、王母山、车辐山，当晚攻克台儿庄，北洋军向峄县退却。革命军第一军之第一师进占红庙、阎庄等处，第三师占领单庄、沟上之线；第二师进至利国驿，第十军进占庄家场、吴闸子、三叉河。11日占领王庄及郯城。13日占领韩庄、沙沟。4月14日北洋军作殊死斗，孙传芳在苏、鲁边界丰沛一带反攻，为张宗昌声援。而张宗昌亦亲临前线督部猛攻，革命军奋不顾身，反复冲杀，击溃敌军攻势，占领临城。18日攻入滕县。19日占领邹县及曲阜。20日攻入兖州，围歼北洋军于峄县。张宗昌所部军队，在安国军七个方面军团中为数最多，但流品复杂，漫无系统，其番号连张的幕僚亦欠明了。迄大战前始将军队裁并改编，除人较多者仍保留师番号外，其余编为中将、少将、上校三种支队，名目番号始稍整齐，但实际各军改编者仍不过四分之一，裁撤者仅张敬尧之第二军，余无变动。而各军之编制亦终未划一，每军人数众寡不等，有二三师者，有一师者，甚至所部上兵手无寸铁，亦号称军长者。至各军军长兼任师长，几成惯例。其下属编制亦极紊乱，每连或七八十名，或一二十名，因之战斗力亦殊脆弱。至于孙传芳所部，则仍按北洋军制（按即前陆军部颁订之军制）的成规编配，官兵亦较有历史，较有训练，战斗力颇强；惟自南浔路战败后，士气不振，军实复缺，已成强弩之末。孙传芳和张宗昌的部队自被革命军于兖州、济宁击溃后，即退集泰安、肥城、济南，而济南的争夺更是中外所最关心的一幕。孙传芳、张宗昌两部，自惨败退至高吴桥、马坡、泗河、官庄、大厂各附近，又退向博山、泰安，张宗昌打算以泰安天险为恃，企图死守，孙传芳则以五师之众退据肥城，以三个师配备于城外刀山谷、凤凰庄一带，构筑坚固工事和张宗昌军联系，其余两师则归马宝珩指挥，置主力于万德、界首。蒋中正于民国17年4月23日，在兖州行营综合各方状况，判知张作霖拟借直、鲁联军之掩护，企图向东三省总退却，乃决心使第一集团军乘胜猛追，攻占济南，并期在黄河以南将其歼灭。4月23日革命军各部队开始行动。25日贺耀祖指挥之第三军团于大舍、大石桥线向店台、长城、大万德、小万德等地攻击前进。方振武指挥之第四军团则向肥城猛攻。其他各军亦向北洋军进击。5月1日张宗昌、孙传芳以济南陷于孤立，势难久守，乃向德州撤退，革命军遂攻占济南，刘峙进驻山东旧督署。蒋中正于5月2日下午4时由泰安抵济南巡视，并召集军长以上军官会议，指示地方治安事宜，并令各军驻扎原地待命。同时下达一道重要命令――“凡张宗昌在山东所设之苛捐杂税，一律蠲除，着各县及各机关不得收纳，此令。”