En 476, l'Empire romain s'effondre suite aux attaques barbares. Le sud de la Gaule, sans défense, se retrouve alors envahi par les Wisigoths. Lorsque ceux-ci arrivent à Nîmes, ils remarquent immédiatement la stature de l'amphithéâtre et décident alors de l'aménager : deux grandes tours sont construites de part et d'autre des arènes, et les diverses entrées sont bouchées pour ne laisser que deux grandes portes. L'amphithéâtre prend bientôt les allures d'une forteresse. Pendant plus de mille ans, il fait ainsi office de château pour les Nîmois, comptant même deux mille âmes au XVe siècle. Il faut attendre 1809 pour que le lieu soit enfin totalement déblayé.