张齐弹劾徐阶，手段毒辣，用心卑劣，引起群臣反击，连几位部院大人也按捺不住，加入了弹劾张齐的行列，一时间弹章竟达三十余。
隆庆帝下诏严斥张齐，并将张齐调出京城，以示严惩。但廷臣余怒未息，吏部尚书杨博上奏，议将张齐革职罢官。杨博的奏章举足轻重，张齐看来难逃厄运。
但是出人意料，反对的人居然是徐阶。徐阶想，自己苦心起草遗诏的目的之一，是在放宽言论，虽说张齐为人险诈，但因言获罪，岂不又是禁锢言论？便力主从轻处罚，而群臣固执己见。见朝政乱象已现，这也是徐阶决意急流勇退的原因之一。
见朝中大臣一面倒，纷起支持徐阶，隆庆皇帝也感到吃惊。徐阶威信如此之高，自己这皇帝怎么当？便于隆庆二年（公元1568年）七月二十一日，允准徐阶辞官。隆庆准辞，满朝震惊，纷纷上本挽留，已然无济于事。请辞获准的徐阶向隆庆辞行，隆庆帝当殿面赐白金钞币，敕命“驰驿”，派官差由陆路经驿站护送回乡。
少师回乡，飞越关山，一路颠簸四十余天，于九月初四到达松江。“近乡情更怯”，不知家乡现况如何？旧雨皆健在否？常言道人去茶凉，今儿自己辞官，已然一介草民，不知家乡父老对己持何看法。一路上徐阶思绪万千。
驿车在松郡西门外一处停下，徐阶掀帘问故，原来已到松江府接官亭。驿车护送至此，便可回程了。徐阶掀帘下车，意外地发现接官亭下，已是黑压压人头一片，知府衷贞吉以下都在恭候，外圈围着的是父老乡亲。扶下张氏，徐阶快步走上亭去，衷贞吉等人在亭下排开，一齐躬身道：“下官恭迎少师荣归！”见此光景，徐阶知道，本想悄然回家的愿望落空了。他一手搀扶着张氏，一手拉着衷知府的手说：“你是我们家乡的父母官，何必兴师动众？”衷贞吉笑曰：“少师有所不知，得知少师荣归，不仅当地父老，即是卑职下属，也皆思一睹风采，并非下官刻意安排。”徐阶闻言，转身对接官亭下众乡亲躬了一躬说：“徐阶何德何能，敢劳众位乡亲？皆请回吧。”亭下众人这才看清，本乡这位官居极品、名闻天下的首辅，葛衣幅巾，脸方须白，竟是一六十开外的老者。只是举手投足，与众不同。
民众散去不少，衷知府一行指挥衙役把徐阶的行李从驿车上卸下，搬上预先备好的车辆，一箱又一箱。众人讶异，这箱中恐怕都是……正讶异间，只听得哗啦一声，其中一个箱子落地，箱盖自开，书册散落一地。那衙役吓得面如土色。徐阶赶紧上前，弯下身子，把书册一本本捡起，拍了拍，放好。徐阶对那衙役说：“不妨，不妨，请搬那车上可也。”衷贞吉打趣道：“少师可谓‘夫子搬家——尽是书’也。”
紧接着，衷知府把徐阶请上马背，又让徐夫人上了小轿，众官员策马东行将徐阶送往济农仓左近的徐阶府第。为让徐阶看看家乡的变化，还特意绕了些道。
一路行来，徐阶首先看到的是接官亭左近的元辅坊、柱国坊，不消说偌大两个牌楼，是对自己的表彰。众人策马走过府前大街，只见店铺林立，店招飘扬。经谷阳门外吊桥东，又见牌坊耸立，正欲动问，与徐阶并辔而行的衷贞吉已抢先说：“此乃大学士坊，乃纪念少师晋升大学士时所建。”
折向南行就是南禅寺，徐阶眼睛一亮，这一带的府宅，堪称宏丽。除了自己的府邸之外，又迤逦耸起五群楼阁，紧挨自己府邸的，是三弟徐陟的三处宅院，太平桥一带，是略逊楼院的一排排精舍。细问之下，这精舍是长子、次子、三子府上的总管所建。在南禅寺前，是次子徐琨、三子徐瑛的宅院。可谓琼楼玉宇，屋脊比鳞。看到这些景象，徐阶心头掠过一丝不安，太盛了。自古盛极必衰，倒该提防。