Lorsqu'en 1182, Richard-Coeur-de-Lion octroie une Charte de Coutumes aux bourgeois de Marmande, une agglomération s'était déjà constituée "à l'ombre" du Château (tome II: Lestang), avec son organisation municipale et déjà ses traditions.
Bientôt, les Consuls estiment nécessaire de faire édifier une ligne de fortifications de maçonnerie ou de pieux, dotée de quatre portes de briques ou de pierres,
-au levant: le portail d'Escaffre, au niveau de l'actuelle rue Fourton.
-au couchant le portail de Larget au niveau des actuelles rue Laffiteau et Paul Vergnes,
-au Nord, le portail de Guizières au niveau des actuelles rues Lespinasse et Paul Vergnes
-et enfin le portail du Troussepis, à l'extrémité côté fleuve, de l'actuelle rue du Général Brun.
A l'intersection des deux voies ainsi définies, le Cayreforch ou le Canton.
C'est ainsi qu'en 1214, Simon de Montfort, chef de la Croisade contre les Albigeois, se présente avec les troupes du roi de France devant Marmande, il trouve devant lui une ville fortifiée. A peine a-fil tourné les talons que la ville retourne sous l'obédience du Comte de Toulouse. Lorsque Amaury de Montfort revient pour assiéger la ville en décembre 1218 sous le prétexte qu'elle se trouve aux mains des Cathares (en fait afin d'agrandir le "pré carré" du roi de France), il se heurte aux mêmes défenses, tant et si bien que ce n'est qu'en 1219, à l'arrivée des troupes royales, conduites par le fils du roi, que la situation va basculer en faveur de ce derner. Marmande est alors pillée, incendiée, ses habitantd massacrés (5.000 victimes, dit-on) et Amaury de Montfort exige que soit rasée une partie des murailles.