吕不韦的父亲名叫吕鑫。是当地有名气的一名商人。吕不韦是卫国国都濮阳人，约生于赵惠文王九年至赵惠文王十九年之间，卒于赵王迁元年。关于他的家世史无记载，很可能出生于在一个珠宝商人家庭。根据《战国策•秦策五》记载吕不韦曾回家与父亲商量：耕田能获几倍的利。他父亲说：十倍的利。