平遥城墙始建时间至少可追溯至周宣王时期，相传为当时的重臣尹吉甫驻军时所筑。城墙原先由夯土筑成，后修建为砖石城墙。现今的古城墙为明朝初年为防御外族而建，洪武三年(1370年)在旧城垣基础上重筑扩修，并全面包砖。此后经过历代补修、增建，城墙规模日渐完善。