嘉靖四十一年（1562年），有山东道士蓝道行以善于扶乩闻名于燕京，徐阶将蓝道行介绍给世宗，一日蓝道行在扶乩时称“今日有奸臣奏事”，刚好严嵩路过。世宗对严嵩父子日久生厌。最终，严氏父子的权势被蓝道行的几句话推倒。嘉靖四十四年（1565年）严世蕃被判斩首，在行刑前大哭一番，严嵩被没收家产，削官还乡，无家可归。

隆庆一年(1567)，严嵩在贫病交加中去世，终年八十七岁。他死的时候，寄食于墓舍，既无棺木下葬，更没有前去吊唁的人。