Vers le milieu du 15e siècle, en 1443, Jeanne Louvel veuve de Jean Lescot songe à doter la basse-ville d'un établissement religieux pour promouvoir la religion dans la classe pauvre. Le duc de Bourgogne et son épouse Isabelle de Portugal contribuèrent financièrement à son édification, selon des lettres patentes du 24 juillet 1444. Détruit en 1567 par les hérétiques, il est rétabli en 1569. Les bâtiments sont vendus durant la Révolution. MM. Lefebvre et Demarle y établissent, vers 1866, la première sucrerie des betteraves du boulonnais. Des vestiges du couvent sont encore visibles en 1945. Il est détruit depuis. Un puits, mis en dépôt dans le beffroi de Boulogne-sur-Mer (IM62000306), en constitue le dernier vestige.