Le château primitif, dont seules des ruines subsistent dans la partie ouest du site, était la propriété de la famille Congost. Lors de la croisade contre les albigeois, Bernard de Congost, s'enfuit et rejoint la citadelle de Monségur. Il y meurt en 1232. En 1210, les troupes de Simon de Monfort prennent le château après seulement 3 jours de siège. La seigneurie revient à Lambert de Thury, un lieutenant de Simon. Puis elle passe rapidement à la famille de Bruyères.

Depuis le XII ème siècle, le château était très prisé des troubadours, Peire d'Auvergne y écrivit sa "Galerie Littéraire", pièce satirique contre certains troubadours.

C'est dans cette suite qu'est reconstruit le château. En effet, de forme rectangulaire, il possède une très grande cour permettant joutes et tournois. Outre ses 6 tours, lui donnant son aspect impressionnant, son donjon, haut de 35 m présente 4 pièces dont l'une, ornées de 8 personnages porteurs d'instruments de musique, était sûrement réservée à la détente.

La légende de la Dame Blanche:

Autrefois, existait un lac qui s'étendait sur une grande partie de la cuvette au sud du village.

Vers la fin du XIII ème siècle, une princesse fut l'hôte de Jean de Bruyères. Cette femme aimait contempler le paysage, assise au bord du lac dans, dit-on, un rocher en forme de fauteuil. Pour des raisons de beauté, elle demanda au seigneur de Puivert de baisser le niveau du lac. Malheureusement, les digues cédèrent, emportèrent la Dame et détruisirent un hameau situé à l'endroit de l'actuel village de Mirepoix.

LA CHAPELLE NOTRE DAME DE BON SECOURS de PUIVERT:

C'est en 1992, que sous l'impulsion de quelques nouveaux résidents, venus parfois de contrées très lointaines, un vaste programme de restauration et de sauvegarde fut entrepris, avec les conseils éclairés du Responsable de l'Art Sacré du Diocèse de Carcassonne, Mr. L'Abbé PAUC. 

Pour réaliser ce programme, il fallait disposer d'importantes ressources financières : une campagne active permit bientôt de réunir quelques 170 membres cotisants. L'Association prit un nouvel essor, après une Assemblée Générale qui approuva le programme et prit d'importantes dispositions techniques, pour obtenir des collectivités locales et territoriales, les subventions nécessaires.
Toutes les façades furent restaurées : en pierres apparentes, avec joints pleins. Ces travaux furent confiés à des entreprises locales.
Toutes les restaurations intérieures furent entreprises et réalisées par des membres bénévoles, l'Association fournissant le matériel, (échafaudages) les matériaux et tous les produits nécessaires