Selon la mémoire communale, Cazaubon se serait entouré de murailles dès le XIe siècle, percées de quatre portes dont deux subsistent aujourd'hui : la porte d'Uzan et la porte du Hourrat. Au XIIIe siècle, le bourg est le siège d'une baronnie bien réelle — celle des Géraud de Cazaubon, acteurs de l'« affaire de Sompuy » en 1271-1272 et cofondateurs de la bastide de Fleurance en 1272 — avant d'entrer dans la mouvance des comtes d'Armagnac.
Contrairement à une idée répandue, Cazaubon n'est pas une bastide : ses fortifications sont antérieures à ce mouvement de fondations planifiées, et le bourg s'apparente plutôt à un bourg castral fortifié — ce qui n'est pas moins noble. Ruelles, places et halle gardent la trace de ce plan médiéval que l'on redécouvre en flânant.
Le bourg vit aussi au rythme de ses traditions plus récentes : les arènes Jean-et-Gérard-Darrigade, avec leurs tribunes en bois du XIXe siècle et leurs 1 050 places, tiennent une place privilégiée dans la tauromachie bas-armagnacaise ; et le parc Adrien-Barthélémy déploie chaque été ses splendides lotus roses — introduits, veut la tradition, par une bienfaitrice du XIXe siècle.
☞ Fiabilité : baronnie du XIIIe siècle attestée ; murailles du XIe siècle et lotus relèvent de la tradition locale rapportée par la mairie.