后來，年老的嚴嵩漸漸失寵。首先，他再也寫不出很精妙的青詞來。他的青詞多是請別的人代寫，所以皇帝總是不滿意；其次，他最善于揣摩皇帝心思的兒子嚴世蕃因為要為母親歐陽氏守孝，不能跟著嚴嵩辦事，所以嚴嵩擬的旨也往往不稱皇帝之心；再次，萬壽宮火災之后，嚴嵩竟敢糊里糊涂地勸皇帝暫且住到南宮去。要知道，南宮是當初景帝幽禁英宗的地方！這讓世宗惱火不已。最后，嚴嵩之敗的關鍵，是因為在皇帝的身邊，出現(xiàn)了另外一個精明厲害的人物―徐階，漸漸與嚴嵩爭寵。據(jù)說，有一次嚴嵩想借大將軍仇鸞之獄來陷害徐階，卻發(fā)現(xiàn)徐階比他更早一步行動了―仇鸞之獄是徐階先告發(fā)的，不由得咄咄稱奇。嘉靖四十一年，道士藍道行為世宗扶乩（ji）。沙盤上出現(xiàn)了一行字：‘賢不競用，不肖不退耳！‘世宗問誰是小人。藍道行說：‘賢如徐階、楊博，不肖如嵩?！@件事被一個在太監(jiān)家避雨的御史鄒應龍知道了。于是，善于投機的鄒應龍就上疏攻擊嚴嵩、嚴世蕃父子。同年五月，嚴嵩被罷免，嚴世蕃下獄。據(jù)當時一些人的記載，也有說這件事是徐階一手布置的。后來，御史林潤繼續(xù)攻擊嚴世蕃，想把當初楊繼盛彈劾嚴氏父子而死的事情當作一件罪狀列進去，被徐階阻止了。徐階知道，楊繼盛之獄是世宗已經(jīng)首肯的，翻楊繼盛案等于指責皇帝也有過錯了。于是，徐階捏造了一個莫須有的罪名，說嚴世蕃結交倭寇。既然是叛國，自然死有余辜了。這樣，嚴嵩20年的政壇經(jīng)營，一朝瓦解。繼嚴嵩而起的，是更有心術的徐階。不過，朝政方面逐漸改變了過去嚴嵩當權時的悛（quan）刻之風，變得相對地寬松起來。所以，嘉靖最后的5年時間，氣象略有些回復。