En 1792, les livres et les manuscrits des différents établissements ecclésiastiques audomarois (abbaye de Saint-Bertin, abbaye de Clairmarais, chapitre de la cathédrale, chartreuse de Longuenesse) furent confisqués à l'occasion des procédures de vente des Biens Nationaux et entreposés dans l'ancien collège des jésuites wallons. En 1799, ils furent installés dans les étagères-bibliothèque scandées de pilastres en bois provenant de l'ancienne abbaye de Saint-Bertin au premier étage du bâtiment des classes des jésuites wallons. En 1805, la bibliothèque communale fut ouverte au public.

En 1891, le conseil municipal vote le financement de la construction d'un nouveau bâtiment sur l'emplacement du bâtiment des classes qui datait de la fin du 16e siècle. La construction de cette aile, donnant sur la rue Gambetta, est réalisée entre 1893 et 1895 sous la direction de l'architecte Ernest Decroix. Le rez-de-chaussée est dévolu à des salles de classes, le premier étage devait accueillir (et accueille encore) la bibliothèque, le troisième étage (étage d'attique) devant servir au stockage des archives. L'actuelle bibliothèque est rénovée et agrandie en 1995 et 1996. L'aile accolée au flanc sud de la chapelle est un ancien bâtiment du collège des Jésuites (1659). La bibliothèque de prêt, la salle de contes des enfants et la salle d'étude occupent des pièces à l'origine destinées à la sacristie et aux chambres dont celle du portier. L'aile de briques rouges placée en perpendiculaire dépend du lycée Ribot, elle date du milieu du 18e siècle et fait également partie de l'ancien collège des jésuites.