Depuis la création de Boulogne au Ier siècle ap J.-C., de nombreux édifices fortifiés et d'édifices logistiques (caserne, poudrière, corps de garde, arsenal, magasin) ont été construits et reconstruits en ville basse et dans le port. Ils ont tous disparus aujourd'hui.

Depuis le règne de l’empereur romain Auguste, Boulogne est à la fois un port militaire et commercial.

En 1544, les Français construisent contre l’invasion anglaise les forts de Montplaisir et Chatillon près d’Outreau.

Au XVIIIe siècle, pour protéger la ville, les militaires entretiennent les bâtiments sur la côte : batteries, forts en mer situés sur les communes environnantes, aménagement de la batterie du mont Hubert, et casernes.

En 1803, Napoléon Ier envisageant l'invasion de l'Angleterre, établit un port avec bassin semi-circulaire, ainsi que les camps de droite et de gauche. La construction de l'arsenal est entreprise entre 1803 et 1820-1825.

Au XIXe siècle, sont construites des batteries, poudrières, casernes et corps de garde.

Pendant la Première Guerre mondiale, Boulogne est la base principale des flottilles de la Manche. Pendant la Seconde Guerre mondiale, Boulogne est la base sous-marine de la Kriegsmarine.