在明代末年( 1628)就有村，当时是以明末一叫潘民的官员(侍郎官)的坟墓起名叫潘家坟，到了清朝嘉庆年间( 1796)，《长安县志》已雅化为潘家庄。有史以来以产粮为主，种小麦、玉米，1986年以后改为蔬菜队。

从嘉庆年间至民国时期，村周边相邻的村有:东为长延堡( 吴家坟西三交村堡)，南边为南北寨子、东姜村、西姜村，西边为双桥头、沙浮沱，北边为杨家村。当时村子有城墙、护城河、城门楼，所以也叫潘家庄堡子。