同时，为了平衡内阁势力，嘉靖皇帝还命“清流党”的两位中坚力量——高拱、张居正退出内阁。走到最前面的严世蕃猛地回头，大声讽刺道:“把我拉下了马，还以为二位赏了紫禁城乘坐二人抬舆呢。原来你们也还是步行啊。”
明朝嘉靖年间，要说残害忠良，贪赃枉法，为臣不忠的当属严嵩父子了。但就是这样一个没有颜值，没有身材的男人，为何在明目张胆地拥有27房美妾后还能够得到皇帝的信任和宠爱，要知道一个正儿八经的官员家里是绝不可能养的起那么多人口的。
据《明史·奸臣传·严世蕃》有载，“严世蕃剽悍阴贼，席父宠，招权利无厌。”当时严嵩在朝廷内外一手遮天，严世蕃在其父亲的“关照”下，在朝中身居高位，大肆贪污受贿，纵情酒色，穷奢极欲，其荒唐程度比严嵩更甚，堪称嘉靖朝第一大奸臣。
严世蕃一生虽然臭名昭著，但是却也有一些传奇色彩，奸臣能够当到他这个水平的不多，既可以时时让挑剔的嘉靖皇满意，又能够用手段制衡群臣，经得起下面百姓和官员的口诛笔伐，的确不简单。而最为当时的人所嫉妒或者痛恨的是，这家伙在庙堂混得风生水起的同时，居然还是一个情场高手。
