Le sanctuaire aurait été bâti au départ par une Dame Penh qui avait trouvé quatre statues de Bouddha flottant sur les eaux du Mékong. Les lieux prirent alors le nom de Phnom Penh, Colline de Penh.