La tradition veut que le premier notable de Xidi ait été le fils d’un empereur de la dynastie des Tang, exilé à la suite d’une rébellion. Pour garder l’anonymat il prit le nom de Hu et donna naissance à une lignée de marchands qui construisirent des maisons, des temples, des routes et des ponts. Le portique de Hu Wenguang qui fut construit en 1578, garde le village. Fait de marbre noir, il mesure 12,3 m de hauteur sur 9,95 m de largeur et a été érigé en hommage au clan Hu.