Monsieur François de Perrochel, évêque de Boulogne-sur-Mer de 1645 à 1675, décide en 1668 de fonder un séminaire épiscopal. La chapelle est dédiée en juin 1715 avec pour vocable saint François de Sales. Les autres bâtiments portent en ancrage la date 1731. La façade sur rue de la chapelle est datée de 1762, ce qui correspond aux travaux d'embellissement du site dans les années 1760. Elle a servi d'hôpital de la Marine durant la Révolution.

Dans les bâtiments, l'école centrale du Pas-de-Calais est inaugurée le 4 avril 1798. Supprimée en 1803, elle devient un collège communal. Le 24 avril 1799 a lieu la création, au deuxième étage, de la bibliothèque de l'école centrale, durant les camps de Boulogne. Elle disparaît pour devenir en 1822 la bibliothèque communale jusqu'en 1914. Grâce à la vente à la ville de la collection du vicomte de Barde, un musée communal est ouvert en novembre 1825. Ses locaux sont restaurés en 1862 et les collections y sont conservées jusqu'en 1988 (date de l'ouverture du château-musée). La partie gauche est détruite lors d'un bombardement en 1918 et le corps central est partiellement démoli durant la guerre 1939-1945.

Depuis 1993, les bâtiments ont été aménagés pour accueillir l'université du Littoral-Côte d'Opale (ULCO). Le lieu est aujourd'hui occupé par le site universitaire Le Musée, qui abrite le département d'Histoire.