只有一个儿子，严世番。

严世蕃（1513年—1565年），字德球，号东楼，江西新余人，明朝嘉靖皇帝的首辅严嵩之子。严世蕃未经科举步入仕途，以严嵩的名势，先入国子监读书后为官，累迁至尚宝司少卿和工部左侍郎。

据说，严嵩形貌高瘦，眉目疏疏，声洪而尖，符合民间百姓心目中刻画的奸臣形象。而严世蕃的相貌与其父并不相像，严世蕃奸猾机辩，通晓时务，熟悉国典，而且还颇会揣摩别人的心意，是而被称为嘉靖第一鬼才。