L’îlot, avec son prieuré, servait beaucoup de refuge pendant les invasions. Mais ses seules défenses étaient la mer qui l’entourait et des levées de terre ou de palissades, améliorées plus tard par une motte féodale entourée de profonds fossés. Ces protections s’avérèrent efficaces lors de la tentative d’invasion des pirates normands au IX et Xème siècle. Mais cela ne pouvait durer…
C’est le duc Jean II qui, vers 1285, aurait fait entourer la Ville d’une première enceinte murale remplaçant ainsi les antiques palissades de bois, dominées par le donjon primitif du «Petit Château».
Après trente ans d’occupation anglaise, c’est en 1451 que les murailles sont reconstruites par le duc Pierre II qui ordonna en outre le renforcement des défenses. Ces travaux seront achevés en 1476, date à laquelle Concarneau a désormais des remparts exemplaires. Pour preuve, la ville de Quimper fit copier les tours par ses propres architectes.
Difficiles à escalader de par leur hauteur et la solidité des murs. Les bâtisseurs avaient certainement trouvé le bon mortier qui était constitué de granit pilé, chaux vive et blanc d’œuf.
Elles étaient percées de trois poternes : Une à l’Ouest, appelée la porte de terre, toujours ouverte et flanquée d’un gros donjon qui sert de demeure au gouverneur et d’une autre tour pour les munitions. Vauban fit supprimer, au début du XIIIème siècle, les toits des tours pour y installer l’artillerie et fit construire les deux tours qui veillent sur le chenal de chaque côtés de la porte du passage. Une autre au Nord, la porte aux vins, qui à l’époque était murée puis ensuite démurée et fermée par une herse la nuit afin que, le jour, les bateaux puissent y décharger non seulement les vins, mais aussi d’autres marchandises, et enfin à l’Est, la poterne, qui donnait accès à la Ville aux passagers du canal.
