西递的创始人胡仕良，因遭变乱，逃匿民间，改为胡姓，繁衍生息，形成聚居村落。

西递自古文风昌盛，到明清年间，一部分读书人弃儒从贾。他们经商成功，大兴土木，建房、修祠、铺路、架桥，将故里建设得非常舒适、气派、堂皇。

西递历经数百年社会的动荡，风雨的侵袭，虽半数以上的古民居、祠堂、书院、牌坊已毁，但仍保留下数百幢古民居，从整体上保留下明清村落的基本面貌和特征。