En 1470, Louis autorise Pierre de Refuge à construire un château fort. Il va s'inspirer des châteaux gothiques du Val de Loire. Les descendants des Refuge vont construire différentes structures autour du château, lui donnant une touche Renaissance. En 1930, il est racheté par l'Etat qui entame sa restauration.