因此，蒋介石命令白崇禧火速率领正规军开入上海。于21日下午3时，白崇禧顺利进占上海，3月26日，蒋介石乘军舰抵达上海。
攻陷南京的战争，从蒋介石统帅北伐军取得安徽战场的胜利开始。早在1926年11月中旬，蒋介石就命令军队从九江向安徽移动。
1927年2月中旬，江左、江右军开始了安徽战场的战斗。当时攻皖北伐军为李宗仁、程潜、贺耀组、王天培诸部，约8万余人，由李宗仁、程潜分任江左和江右总指挥。江右军约3万人，由九江向皖边进发，到达湖口、马当及至德、祁门，江左军则由鄂东地区向安庆方向进击。在安庆，几乎没有经过什么战斗就进占了。接着，江右军第一纵队第六军第十七师，于3月6日向芜湖进发，遂也不战而克。
3月15日，蒋介石下令北伐军10日内攻占南京。北伐军奉令，向南京前进。16日，北伐军越过当涂，包围南京，17日，北伐军占领当涂城，接着又克江宁镇。与此同时，江左军也控制了津浦线南段及合肥、蚌埠等城市，形成对南京的三面包围。蒋介石将会攻南京的任务交由东路军和江右军担任，并以江右军为克复南京主力。
3月20日，程潜命各纵队，向南京外围敌军各据点全线发起总攻。21日，第三纵队贺耀组部破禄口镇之敌后，进占了陶吴镇、秣陵关，同日，一纵队第六军第十七师攻占了江宁镇。22日，二纵队鲁涤平第二军进占了龙都镇和淳化，接着一纵队与三纵队又进占了将军山、牛首山一线，压迫南京城郊。这时，东路军何应钦也率第四、第六纵队到达镇江。23日，程潜命江右军各军同时发动攻击，乘胜围攻南京，并亲临城下指挥攻城，第二纵队第二军进击中华门、光华门；第三纵队向通济门、武定门出击；第一纵队第六军近3万人向雨花台猛进，并占领了该处要塞，威胁城门守军。
与此同时，何应钦率领的东路军先头部队，进抵栖霞街、东流镇、汤山镇一线，敌守军或退入南京城内，或向下关溃散。至下午2时，攻击通济门之北伐军，已达城门口。约3时左右，北伐军夺得雨花台，孙军一部分沿城外护城河溃往下关，一部分入城后出仪风门退至下关。北伐军第二军第十九师，遂自中华门首先攻入南京城。
这时，攻击通济门的独立二师师长兼四十军副军长贺耀组，正指挥所部两万余人，以猛烈炮火，继续攻击通济门，直鲁守军见来势甚猛，遂仓皇逃走，北伐军攻下了通济门。此时，洪武门也被二军副军长鲁涤平所部乘胜攻破，褚玉璞见大势已去，遂令所部退往浦口，北伐军遂于24日凌晨进占南京。
3月25日，蒋介石抵达南京，下车伊始，即令程潜、贺耀祖负责南京治安。在此之前，蒋在军舰上召见江右军总指挥程潜，并指示：“对于无论中队或流氓，损害外侨生命财产，均须负责查明其确实情形，予外侨以满意之解决。”除此之外，没有太多指示。
三、分裂与清党
1．迁都之争与军党之争
随着北伐的节节胜利，蒋介石的实力越来越大，对于蒋介石逐步掌握党、政、军大权，国民党各派都十分不满，暗中都主张对他加以约束。这种怨愤逐渐升级，防蒋独裁的空气日见浓厚，迎汪复职的呼声就是在这种背景下出现的。
1926年5月25日，有人在国民党中常会上提议：“汪精卫同志病仍未愈，本会应去函慰问并申述本会热望其早日销假视事。”各省党部随后纷纷通电响应，何香凝、吴玉章也不断联络左派，商量此事。8月5日，何香凝在中央党部第47次会议上提议：“现在请汪销假者既函电纷驰，中央应分别答复，及将原电转汪主席。”
8月中旬，蒋介石到达长沙。此时，蒋之嫡系第一、二师“溃败”，前方出现于蒋不利的情况。厂州提出“迎汪”的问题，对蒋而言当然是个十分敏感的问题。这时本应按照国共两党协议，召开两党联席会议，中央所派代表张国焘、瞿秋白，已于8月20日到达广州。因“迎汪”空气高涨，张静江等不肯在这时开会，两党联席会议遂告搁浅。
另外，在中山舰事件中被蒋击败的汪精卫，也不愿就此败下阵来，他于7月16日主动寄出了请求复职的信，请求复职。
8月下旬，这封信寄到广州，在国民党内引起了强烈的反响。何香凝主张公布此信，张静江、叶楚伧颇为恐慌，蒋介石知道消息后致电黄埔军校说：“迎汪比倒蒋还坏。”他一面提出将国民党中央党部、国民政府北迁武汉，极力阻汪回任，一面派人到上海会见陈独秀，“请C．P勿赞成汪回”，说什么汪回来后将为小军阀所利用，同他捣乱，分散国民革命的力量。蒋还请陈独秀和共产国际代表维经斯基赴鄂，企图用共产国际的影响，说服人“援助蒋”，“维护他的总司令地位”。
1926年10月15日至26日，中国国民党在广州召开第二届中央执委及各省区联席会议。会上提出《请汪精卫销假案》，正式把这个问题提上议程。
“迎汪”案的提出，遭到了右派的阻挠，蒋介石事前布置张静江顽抗，声言他的主席地位决不能动。张静江说：“请汪复职，无异于拥汪倒蒋，我一定要与之一争到底。”还扬言提出欢迎胡汉民以为抵制。但会议还是通过了“迎汪”案，并通电各级党部，通告中央关于请汪回任的决定，并向汪本人发出通电，请他“即日命驾回粤”。
在这种迎汪抑蒋的政治气氛中，蒋介石不得不为自己的政治前途重新作一番打算。1926年9月上旬，当国民革命军克复汉阳、汉口后，蒋介石于9日致电张静江、谭延闿：“武昌克后，中正即须入赣督战。武汉为政治中心，务请政府常务委员先来主持一切，应付大局。否则迁延日久，政治恐受影响，请勿失机。”
蒋介石此时所以积极主张迁都武汉，一方面为了利用自己在北伐过程中重新树立的威望来辐射和干扰汪精卫在广州的势力，另一方面是因为他深知武汉战略地位的重要，并想亲自控制武汉政权，也可压制在北伐中日益坐大的唐生智。
9月18日，蒋介石再电张静江、谭延闽要求政府迁汉，但被搁置。蒋介石得悉后，又于10月22日再电广州中央，要求迁汉，接着他派邓演达到广州催促政府及中央党部迁移武汉，但又被否定。
随着革命形势的发展，国民政府的管辖区域日渐扩大，广州地处偏远，迁都问题又得重提，国民党中央政治委员会乃于11月26日做出了迁都武汉的正式决定。会后，在广州的国民党中央执行委员和国民政府委员分批北上。
12月2日，宋庆龄偕同国民政府司法部长徐谦、交通部长孙科、财政部长宋子文、外交部长陈友仁以及苏联顾问鲍罗廷前往南昌，并在庐山召开会议，做出如下决议：采取消灭孙传芳联络张作霖的策略，工人运动从缓，农民运动加快，凡北伐军攻克的省份，财政由中央统一管理，取消主席制的一长制，改为委员制的合议制，电请汪精卫回国复职。会上，蒋介石以“政治与军事发展便利起见”为由，提议改迁都南昌，未被与会者同意。会议结束后，蒋介石回南昌，宋庆龄一行赴武汉。
12月13日，由在武汉的国民党执行委员暨国民政府委员临时联席会议在武昌正式组成，代行国民党中央党部和国民政府的职权，同时发布命令定都武汉。又组织国民政府委员会，以财政、外交、交通诸部长，汉口、武昌市长及防军司令等9人为委员，徐谦为主席，会上，蒋介石被点名批评，认为是要搞、独裁，把个人权力凌驾于党中央之上。会议所决定：凡军事委员会的决议，要由中央执行委员会议决，总司令动员令要由军事委员会七人主席团讨论，通过后再交中央执行委员会批准，总司令不得擅自决定一切和任意下令。很明显，这几个决定主要是针对蒋介石的。
武汉国民政府的成立对控制两湖局势，对唐生智加以限制起到了一定的作用，但与蒋的愿望还相去甚远。再加上国民党中央防蒋军事独裁的气氛日渐浓厚，鲍罗廷等人对蒋是如此的不留情面，甚至连联席会议也没能让蒋插上一脚，蒋遂蓄意有所行动。
蒋介石在12月问，把张静江、谭延闿从广州接到南昌，还截留了部分取道江西去武汉的国民党中央执监委员和国民政府委员，于1927年1月3日擅自在南昌召开了中央政治会议第六次临时会议，非法决定中央党部和国民政府移驻南昌。
为了实现迁都南昌的目的，蒋介石在1月10日和21日又两次操纵南昌政治会议，做出要求武汉成立政治分会，解散临时联席会议的决定。这实际上是否定了武汉国民政府的合法性，只将其作为南昌政府的一个分支机构。蒋介石无视党纪，公然向武汉国民党中央临时联席会议挑战，激起了武汉方面的强烈不满。
武汉国民政府主席徐谦三令五申要求南昌的国民党官员前往武汉。1月中旬，蒋介石前往武汉，摇唇鼓舌，四处游说。但是蒋介石所到之处，屡遭抵制，蒋甚为难堪。在1月12日武汉各界召开的欢迎大会上，就有人当场质问：为什么违抗国民党中央迁都武汉的决定？为什么无理扣留国民党中央委员？苏联顾问鲍罗廷也当众批评和羞辱了他。最后蒋介石在武汉呆了一周之后，毫无收获，并且几次受辱，众人排挤，甚是郁闷，最后悻悻离去。
1月18日，回到南昌之后，蒋介石回顾这几日四面碰壁、屡受侮辱，心中怨愤油然而生。他立即给徐谦打了个电报，要求撤销鲍罗廷的顾问职务。徐谦收到电报后，未予理睬，蒋介石也无可奈何。
迁都之争以武汉国民党左派的胜利而告结束，但蒋介石的妥协施展的是“以退为进”的策略，不久，他与黄郛等人密谋，决定了“底定东南”的策略，蒋意已决，不愿再与国民党右派和合作，打算凭借自己的军事力量“搞个单干”。
在迁都之争中，国民党左派和人对蒋介石的军事独裁、跋扈义愤满腔，一时舆论沸腾，纷纷要求提高党权，限制军权。
2月22日，武汉中央执行委员会常务委员会决定接受21日扩大联席会议的要求，决定于3月1日在武汉召开国民党二届三中全会。