严世蕃奸猾机辩，通晓时务，熟悉国典，而且还颇会揣摩别人的心意，因而被称为明嘉靖朝第一鬼才。
嘉靖二十七年（1548），严嵩再任首辅时，已经年近七旬，逐渐有些年迈体衰，精神倦怠。这时，他还要日夜随侍在皇帝左右，已经没有时间和精力处理政务。如遇事需要裁决，多依靠其子。他总是说“等我与东楼小儿计议后再定”，甚至私下让世蕃直接入值，代其票拟。票拟就是内阁在接到奏章后作出批答，再由皇帝审定，是阁臣权力的重要体现。世蕃的票拟多能迎合世宗的心意，因此多次得到世宗的嘉奖。严嵩干脆就将政务都交给其子，世蕃一时“权倾天下”。
当时严氏父子把持着朝中官吏的任选、升迁。官无大小，皆有定价，不看官员的口碑、能力，一切都以官员的贿金为准。严世蕃利用各种手段大肆搜刮，家财富可敌国。据说，严世蕃与妻子要将金银埋藏到地窖里，想起这都是仰仗他父亲得来的，于是就请严嵩来观赏，严嵩一见，数量之巨出乎想象，顿时目瞪口呆，隐约感到大祸将至。
