Autrefois résidence des seigneurs de Villemoustaussou, le château existe encore de nos jours, avec au centre, une tour de quatre étages percée à la base d'une porte fortifiée qui donnait accès sur une cour intérieure. Au cours des siècles, il a subi d'importantes modifications pour le rendre habitable. Celles-ci ont changé son aspect primitif, le sommet de la tour ayant été notamment tronqué. Toutefois, son architecture permet de le dater de la fin du XIVème ou du début du XVème siècle.

A cette époque, le bourg était entouré de fortifications, véritables remparts percés de trois portes et renforcés par trois tours, qui protégeaient le village. Ces fortifications, jugées inutiles par la population, auraient été détruites après la Révolution de 1789. Il n'en reste aucun vestige. Les pierres furent utilisées pour la construction de maisons longeant la promenade. Ces murs et les fossés adjacents ont laissé place à la promenade actuelle qui entoure le cœur du village au sein duquel on trouve divers témoignages du passé parmi lesquels:

- Rue de la Liberté : un linteau de fenêtre portant la date de 1746 et un dessin gravé représentant une paire de ciseaux et un fer à repasser et une aiguille; une pierre incluse dans la muraille, gravée d'une sorte de masse ou de maillet.

- Rue du château : un blason, gravé des lettre P B, orne le pignon d'un bâtiment

- Rue du château : dans l'angle gauche du bâtiment orné du blason cité ci-dessus s'encastre une pierre sculptée figurant un animal inconnu. Sa gueule armée de dents évoque celle d'un loup et a inspiré le nom de "louve de Pennautier". Il semble plus vraisemblable que la créature représente un diable et que cette sculpture, datant probablement du XVème siècle, provienne d'une église dans laquelle elle servait de base à un arc.

- Boulevard de la République : une sculpture, taillée dans un bloc de grès, représente un visage endormi.

C'est un édifice fort ancien dont on ne connaît pas la date de construction. L'église contenait trois tombeaux, actuellement au musée de Carcassonne, dont les dalles portaient les inscriptions de 1299 à 1300 et qui prouvent que l'édifice était déjà en place à la fin du XIIIème siècle.

On sait également, grâce à l'inscription figurant sur une pierre extérieure de la sacristie, que ce bâtiment a été reconstruit en 1555. 

L'église est de style gothique. L'abside, voûtée et faite de plâtre et de liteaux, est à cinq pans et mesure 6,5 mètres de profondeur et 7,3 mètres de large.

La nef comporte quatre travées. Mesurant 20,70 mètres de long pour 8,3 mètres de large, elle est couverte d'une fausse voûte en bois et plâtre de 8,9 mètres de hauteur. 

Un prolongement de la nef contient l'escalier menant au clocher. Les fonds baptismaux et cinq chapelles s'insèrent sur les côtés.

Le clocher date du début du XVIIième siècle. Il a subit d'importantes réparations entre 1864 et 1885 qui changèrent l'aspect de l'édifice originel pour donner le bâtiment que nous connaissons aujourd'hui.