张载的祖父和父亲都是中小官吏。他的父亲张迪任四川涪陵县知州，后在涪州任上病故。当时，母亲带着15岁的张载和他5岁的弟弟张戬，护送父亲的灵柩来到陕西凤翔郿县横渠，因缺乏路费，再加上前方发生战乱，决定不再返回家乡河南开封，就将父亲安葬于横渠南大振谷迷狐岭上，全家也就定居于此，张载以后也生活于此。