那个时候，国民党内部思想也很乱，派系对立严重，所谓革命形势越是一派大好，这样的情况也就越发糟糕。就连在党内位高权重的蒋介石，其处境也很微妙、很尴尬。
国民党内部的右派如“西山会议派”，这时认为蒋介石是赤色分子、共产党的同路人。而国民党的左派中又有一种声音，认为蒋介石是“新军阀”。时任代理海军局局长的共产党人李之龙曾公开提出，蒋介石要在3个月之内把广东所有的工厂收归国有，否则就要以“叛变革命”的名义查办他。来自苏俄的军事顾问，很多的时候也不把蒋介石看在眼里，让蒋心里很不舒服。
西山会议派，是中国国民党内的右派派别之一，也是国民党内最坚定的反.共势力。
孙中山逝世后，国民党右派公开进行反对孙中山联俄、联共、扶助农工的三大政策的活动。
1925年11月23日，国民党中.央执行委员中的右派分子，林森、邹鲁、居正、叶楚伧、覃振、石青阳、石瑛，中央监察委员张继、谢持等在北京西山碧云寺非法召开所谓“国民党一届四中全会”，通过了反苏、反.共、反对国共合作的《取消共产派在本党党籍宣言》、《总理逝世后关于反对共产派被开除者应分别恢复党籍案》等一系列倒行逆施文件，由此“西山会议派”产生。
1926年3月17日，蒋介石在日记里写道：“近来所受苦痛，至不能说，不忍说，且非梦想所能及者。政治生活至此，是何异佛入地狱耶。”
可以说在那个时候，他便开始谋划把共产党人清除出国民党了。
这一时期，新生的党人在指导思想和做法上也出现了一些不成熟的极左倾向。当时的“湖南农民运动”中，农协的刊物如《湖南民报》甚至提出了“有土皆豪，无绅不劣”的口号，不加区别的镇压当地的地主、豪绅，没收其财产。结果，有很多国民党人和国民革命军军人的家属被列为“土豪劣绅”，成了揪斗的对象。这在国民党看来，简直是抓反革命抓到自己人头上，让国民党内包括中间派的很多人心生反感。
1927年3月10日，国民党二届三中全会在武汉汉口召开。这次会议上，选出了左派人士和中.共.党.员占绝对优势地位的中.央委员会，会议并以“提高党权”的名义，免去了蒋介石的中.央.主.席、军.委.主.席，只保留其国民革命军总司令的职务。
于是，矛盾更加激化，也更加公开化。
在蔡元培等一部分国民党元老眼中，这样一来，国民党几乎快要被左派和共产党人架空，国民党和国民党人的革命事业到了生死存亡的关键时刻，非要出手挽救危局不可了。不管怎么说，反正这时候的蔡元培，是旗帜鲜明地和国民党内积极反.共的人走到了一起。
4月2日，国民党中央监察委员会全体会议上，在吴稚晖提交查办共产党的呈文之后，蔡元培亦向大家出示了名为《共.产党祸党证据及共.产党在浙祸党之报告》的两份材料，一份是中.共自二大以来“阴谋破坏国民党”的种种决议和通告，另一份则是中.共在浙江“阻止入党”“煽惑民众”“扰乱后方”“捣毁米铺”“压迫工人”等若干条罪状。
会上经蔡元培同意，还审定了列有毛.泽.东、周.恩.来、陈.独秀等中共领袖及柳亚子、徐谦、邓演达等国民党左派人士的黑名单，共计179人，提请委员会立即采取紧急措施，将这些“首要危险分子”，“就地知照治安机关，分别看管，制止活动”。
此后，在蔡元培的主持下，这些监察委员又开了4次“清党”密会。
可以说，在国民党内的派系争斗中，这时候的蔡元培是坚定地站在了蒋介石一边。
蔡元培又在4月9日同吴稚晖、张静江、李石曾等人一起发出3000余字的“护党救国”联名通电，痛斥联共政策的种种荒谬，严词指责工农运动，指斥武汉汪精卫等为首的国民政府与共.产.党合作，有“亡党之责”，“大有背于本党治国之精神，极端毁灭本党组织之根本旨趣，减少群众对于本党之坚固信仰”。
蔡元培在通电中呼吁全体国民党党员，要“念党之危机，懔丧亡之无日，披发缨冠，共图匡济，扶危定倾，端视此举”，从而为蒋介石发动政变做了舆论上的准备。
到了这一年的10月18日，蔡元培在国民党中.央党.务学校发表演讲，还在向青年学生灌输他的这一思想：
“本党在共.产.党捣乱的时候，下级党部和农工组织为他们所把持，不许本党党员插足。他们这种方法是很厉害的，是想把本党的基础抢了去。他们所做的工作，就是要消灭本党的工作。共.产党的农人工人运动，是欺骗农工的运动，不能够替农工谋实在的利益。”
1927年4月15日凌晨，国民党广东当局下令军警和其他武装开始在广州进行“清党”大搜捕。萧楚女、刘尔崧、熊雄、邓培、李森、何耀全、张瑞成、李亦愚、毕磊、谭其镜、杨其纲、麻植、熊锐、邹师贞等100多位著名共产党人英勇牺牲。
仅在蒋介石的老家浙江，至1927年7月15日，杭州、宁波两地被捕的共产党人、革命群众及国民党左派就有400余人，其中117人被“清党委员会”残杀。至这年底，全浙江有1805人被捕，其中932人被杀。在另一些省份，更是有过之无不及。在农民运动中遭到打击的豪绅们这时也纷纷反戈一击，在地方上积极捕杀共.产.党人、农.运首领。
清党运动迅速朝着蔡元培始料不及的方式和规模发展。
清党之初，浙江清党委员会枪杀二十余名共.产.党人和革命群众。
蔡元培知道这件事后，很是痛心疾首，他提出了严厉批评：“我们不能随便杀人！昨天那样办，太荒唐！太草率！太不好了！此后必须谨慎注意。”
作为清党的最初力推者，他提出清党务必执行的三原则：抓人必须调查清楚；定罪必须证据确实才可判决；杀人必须其人罪大恶极，提交清党委会员讨论决定后才可执行。
为劝阻滥杀，蔡元培在1928年前后写下《追怀不嗜杀人的总理》一文。
言道：“总理致力革命四十年，不但政敌甚多，就是始信而终叛的人也不少；然而总理最反对暗杀，一切均以堂堂正正之革命军行之。军行时自然不能没有死伤的人，然这是不得已而杀人，不是嗜杀。以汤芗铭的反复，并不念他的旧恶；以陈炯明的叛变，还许他们悔过效力；其他类似的人，从没有宣布过死刑。总理的不嗜杀人，可以公认了。”
但是，政治斗争的残酷，远非蔡元培所能预见和主导。这时的蒋介石等这些国民党内蔡元培的“老同志”，早把总理的风格抛到了脑后，在权力争夺、残酷打击异己的道路上愈行愈远，蔡元培的规劝早已被这些人当成了耳边风。
在清党期间，蔡元培曾亲自出面营救了诸多可能遭捕杀的共产党人和革命青年，如帮助被列入清党黑名单的朱宜权等出走，保释被捕入狱的进步青年史良、郑观松。
1928年1月，蔡元培曾亲自致电武昌卫戍司令胡宗铎，要求他释放被捕的教育界人士。
言道：“闻汉口第二中学学生颇有附和共.产.党者，因而连及徐校长昌期亦被监禁。但徐君实无共.党嫌疑，如蒙早日开释，无任感荷。”
现在，力主清党的人却一再为被清的对象说情、提供保护、援助。
其实，蔡元培和中共的很多领袖之间不仅没有丝毫恩怨，而且私交还不错。陈独秀、李大钊这两位中国共产党的创始人，正是他任北大校长期间亲自聘请的优秀人才。
就在清党开始之时，李大钊被奉系军阀张作霖处死，蔡元培带头募捐，帮烈士的长子李葆华去日本留学。
他和陈独秀的关系，更不用说了。两人以前就在一起共谋反清、制造炸弹。陈独秀后来两次被捕，蔡元培都出手相救。
以至于当蔡元培去世以后，陈独秀十分悲伤，在给友人的信中说：“弟前在金陵狱中，多承蔡先生照拂，公乃先我而死，弟之心情上无数伤痕中又增一伤痕矣!”
做为学者和政客，蔡元培与蒋介石毕竟有着本质的不同。
蔡元培的诉求是民主和法治，而蒋介石的目标则是权力。蔡元培虽然坚定地力主清党，但他主张用温和、法治的手段完成这项使命，蒋介石等人则毫不心慈手软，掀起了一场极为残酷的腥风血雨。
鲁迅后来说，“其实像蔡先生，也还只是一般地赞成进步，并不反对共产党而已。到底共产党革命是怎么一回事，他就不甚了然。他甚至于悲叹地说，国民党为了想消灭政治上的敌对者，连民族的存亡都可以不顾，这是他所始料不及的。可知他同情革命者，也不过为了民族而已”。