C'est peut être au Xème siècle qu'une première construction est bâtie sur le site actuel du château entre le vallon des Arcs et l'actuel village.

A la fin du Moyen Age, les Allagonia, alors seigneurs, ajoutent quatres tours défensives.
Au XVIIe siècle, la seigneurie passe à leurs héritiers, les Valabelles.

D'importants remaniements lui font perdre peu à peu son aspect de forteresse.
De nombreuses fenêtres éclairent les appartements, qui sont redécorés, la cour intérieure est transformée en terrasse par la destruction de l'aile ouest.

Aucun domument illustré antérieur au XVIIIème siècle ne nous est parvenu, pour restituer l'aspect du château de l'époque féodale.

Le château et son parc figurent à l'inventaire des sites inscrits depuis le 10 avril 1952.
Le mur de la "Garenne" est construit en 1764.