Les fortifications de Millau étaient fort anciennes. Mais on ne possède aucun indice pouvant faire présumer leur origine ou la date de leur construction. Tout ce qu'on peut dire d'après les quelques vestiges encore conservés, c'est qu'elles semblent postérieures à l'ère mérovingienne, car on n'y retrouve aucune t ace de l'appareil alors usité (arêtes de poisson).
Existaient-elles lors de l'invasion des Sarrasins, qui s'étendit, comme on le sait, au vine siècle dans la province du Rouergue, ou bien ont-elles été établies plus tard, soit à l'époque Carolingienne, (759-849), soit dans la première période de l'époque féodale au Xe siècle, Nous l'ignorons complètement.
De Caumont (Bulletin monumental, vol. 25) émet l'avis que les fortifications des villes Gallo-romaines remontent au Vème siècle, et qu'elles ont été établies après l'invasion des Barbares.