L’agglomération boulonnaise est habitée depuis le paléolithique ancien, mais l’établissement de la ville peut être considéré comme une création romaine. Dès 55 av J.-C., Jules César utilise le site de l’estuaire de la Liane comme base de départ de son expédition vers "l’île de Bretagne". La date de fondation exacte n’est pas connue, la ville porte le nom de Gesoriacum puis Bononia. Après 43 ap J.-C. et l’annexion de l’île de Bretagne à l’empire romain, Boulogne devient une base militaire pour la flotte romaine : la Classis Britannica. Un camp militaire est établi en ville haute. La christianisation entraine la création d’un groupe épiscopal et la construction d’une église Notre-Dame à l’intérieur du camp romain.

Au XIIIe siècle, la ville connait une période de prospérité : construction de la cathédrale, économie de la pêche, enrichissement des bourgeois. Le rôle politique des comtes de Boulogne tient une part importante dans la prospérité de la ville. Philippe Hurepel, fils de Philippe-Auguste, est nommé comte en 1223 : il fait reconstruire les remparts et bâtit le château ; le donjon de l’ancien château est transformé en beffroi, symbole de la puissance des bourgeois. La ville haute est la ville de la noblesse, des hommes d’églises et des bourgeois, tandis que la population de la basse-ville concentrée autour de l’église Saint-Nicolas vit de la pêche.

En 1544, la ville est assiégée et saccagée par les Anglais. Rachetée par Henri II en 1550, elle devient siège d’un évêché après la destruction de Thérouanne en 1553. La ville n’échappe pas aux troubles des guerres de religion. Un renouveau catholique est impulsé par de grands prélats et des congrégations et ordres religieux font leur apparition : les Annonciades, les oratoriens, les ursulines et les ordres (cordeliers, capucins et minimes) s’installent en basse ville. En 1607, la redécouverte de la statue miraculeuse de la Vierge entraine un regain de dévotion et un essor du pèlerinage.

Louis XIV décide le démantèlement des fortifications. La suppression des ouvrages avancés conduit à une meilleure liaison entre la ville haute et la basse-ville. Des travaux d'urbanisme sont entrepris par Achille Mutinot, mayeur de la ville de 1723 à 1748 notamment des travaux de terrassement de la Grand-Rue pour adoucir la pente entre la basse et la haute ville. La Grand-Rue devient alors l'artère commerçante de la ville au XVIIIe siècle, période de prospérité pour Boulogne. De nombreuses places sont également aménagées (Victoire, Boston, Tintelleries).

Sous le Consulat et l’Empire, Napoléon Ier réaménage le port et séjourne régulièrement à Boulogne, notamment à l’hôtel Desandrouin (IA00059514) mis à sa disposition.

L’apparition du chemin de fer en 1848 favorise le développement de la pêche, du commerce (construction de la douane, chambre de commerce) mais aussi de la villégiature (construction d’un casino, bains publics, théâtre) et du pèlerinage de Notre-Dame de Boulogne. 

Tout au long du XIXe siècle, la ville de Boulogne ne cesse de s’agrandir et de s’urbaniser. Le hameau de Capécure (jusqu’alors sur le territoire de la commune d’Outreau) est rattaché à Boulogne en 1835. Les quartiers de Beaurepaire, Bréquerecque, Dernier Sou et Saint-Pierre s’urbanisent : de nouvelles paroisses sont créées pour répondre à l’accroissement démographique (IA62000631) ainsi que des temples pour la communauté protestante (IA62000019) et une synagogue (IA62000022).

Dans la première moitié du XXe siècle, le quartier Bréquerecque s’agrandit et le quartier Beaurepaire au Nord s’urbanise.

En 1940, la ville est occupée par les Allemands. Les bombardements lors de la guerre entrainent la destruction du port et de quartiers entiers (Saint-Pierre, Capécure). En 1945, Pierre Vivien (1909-1999) est nommé par le Ministère de la Reconstruction et de l’Urbanisme pour établir le plan de reconstruction de la ville. La reconstruction de la ville s’étend jusqu’en 1964, avec le redressement du cours de la Liane.