与皖南广大村落的形成一样，北方移民的大举南迁，是西递村形成的基础。据《西递明经胡氏壬派宗谱》记载，西递胡氏始祖胡昌翼(字宏远)为唐昭宗李晔之子。宗谱中说:“始祖讳昌翼，字宏远，号眉轩，本唐昭宗子。”904年，唐昭宗李晔在企图篡位的梁王朱温的胁迫下，从长安迁都洛阳，途经陕县时，皇后何氏生下一男婴，李晔深知此行凶多吉少，便将婴儿“护以御衣，侑以宝玩，匿讳民间”，托付给途经此地的婺源人胡三公收养。胡氏不久将皇太子秘密带回老家婺源考水，改李姓为胡姓，取名“昌翼”。“昌”代表吉祥平安，“翼”为翅膀，表明平安地飞离了虎口。907年，朱温篡位，自立梁朝。唐昭宗全家除昌翼之外，均被戟杀。
    925年，胡昌翼已长大成人，并“以明经登第”，胡三公便告知了他的皇子身世。胡昌翼从此拒绝为官，隐居考水，“倡明经学。为世儒宗”，直到999年去世。后人尊其为“明经公”，并以“明经胡氏”为族名。
    西递村的建村肇始于北宋时代。北宋皇佑元年(1049年)，明经胡氏五世祖胡士良从婺源赴金陵，路经西递途中，发现西递山清水秀，便在堪舆大师的参谋下，决定徙居于此。宗谱对此有详细记载:“山多拱秀，水势西流，遂陪地师前往。见东阜前蹲，罗峰遥拱，有天马涌泉之胜，犀牛望月之奇;产青石而如金，对霭峰之似笔，土地肥沃，泉水甘甜……”真不愧是上佳的风水环境，遂举族迁居于此，胡氏五世祖胡士良也因此成为西递村的始祖公。