曾祖父：李懽，北魏河秦二州刺史、杜县开国公

祖父：李崇义在北魏时期担任过殷州（治所位于今河北省隆尧县）刺史，北周时封永康县公。

父：李诠，隋赵郡太守、临汾襄公

母：韩氏

兄：李正明，唐左骁卫、右屯卫、左卫将军、兰夔原灵四州都督、金紫光禄大夫、上柱国，袭永康公，赠秦渭等四州诸军事、秦州都督

兄：李端，字药王，隋将

弟：李客师，唐左领军大将军、幽州都督、丹阳郡公

弟：李伟节，隋司隶州刺史

子：李德謇、李德奖。