Les moines de l'abbaye Saint-Eloi, dont l'abbaye du faubourg d´Orroire (étudiée) avait été détruite lors du siège de 1591, s'installèrent provisoirement dans la citadelle, bâtie sur une partie de leur terrain. Deux procès-verbaux de visite établis entre 1634 et 1637 montrent la précarité matérielle dans laquelle se trouvaient les moines, entourés des ruines de l'ancien monastère et de bâtiments militaires convertis en lieux réguliers, exigus et provisoires.

A partir de 1640, les religieux purent s'installer au "Pré Saint-Eloi", sur un terrain voisin qui leur fut consenti par la ville. La première pierre de l'église fut posée le 11 mai 1661 et la dédicace effectuée le 11 mai 1682. La gravure du "Monasticon Gallicanum", datée de 1677, montre l'ensemble des bâtiments abbatiaux vus du sud en perspective cavalière : la porte d'entrée du monastère donnait accès à une première cour. A gauche se trouvait l'église, orientée environ sud-est. Sa façade était flanquée d'un petit pavillon dénommé "siège de la justice". En traversant cette première cour, un portail flanqué de deux pavillons (dont le cellier à gauche) donnait accès à une seconde cour menant à l'hôtellerie de l´abbaye, réservée aux hôtes de passage.

Au sud de l'église, le cloître était entouré par le dortoir (à l'est), par la bibliothèque (à l'ouest) et par le réfectoire (au sud), accosté par deux pavillons (l'hôtellerie et l'infirmerie). La gravure figure également un vaste jardin à la française, avec au centre un bassin circulaire.

L'église comprenait trois vaisseaux voûtés d´arêtes aux proportions imposantes. Les colonnes monolithes des grandes arcades reposaient sur des piédestaux polygonaux. Le choeur, en hémicycle, était orné de boiseries. Le maître-autel était consacré à la Vierge et les secondaires à saint Eloi et à saint Benoît.

Sécularisé à la Révolution, le monastère Saint-Eloi fut acheté en 1792 et démoli.