La construction du Castillet remonte au XIVe siècle. Il servait alors à la fois de prison et de porte d’entrée à la ville.