段志玄长得气宇轩昂，举手投足之间都有着英气。少时身材魁梧，不爱学习，喜欢惹是生非，因此周围的泼皮无赖都十分畏惧他。

段志玄的父亲段偃师担任太原司法书佐，他因此随父前往太原。段志玄虽然屡屡伤人犯法，但武艺高超，身手敏捷，因此李世民对他十分欣赏，认为他是个人才。