Xidi a été fondé sous la dynastie des Song du Nord qui régnèrent de 960 à 1127. Le village se développa très vite sous la dynastie des Ming et atteignit son apogée sous la dynastie des Qing. Depuis, le temps s’est figé à Xidi et parcourir ses rues revient à se promener dans un livre d’histoire chinoise. Pour cette raison, et pour éviter les périls que pourraient lui faire courir les tentations du monde moderne, l’Unesco a inscrit Xidi au patrimoine mondial en 2000.