L'église Notre-Dame fait partie des trois églises du vaste complexe monastique (IA80000856) fondé entre 790 et 799 par Angilbert, gendre de Charlemagne. D'après les fouilles archéologiques menées par Honoré Bernard, combinées aux travaux de Jean Hubert et d'Alain Erlande-Brandenbourg (Bernard, 1968), l'édifice carolingien était situé au sud du cloître, à la pointe extrême d'un triangle formé par l'enclos monastique. Il était à plan centré et marqué d'une une tour dodécagone précédée d'un narthex. Il disposait de treize autels – douze dédiés aux apôtres et un à la Vierge. La comparaison de cet édifice avec la chapelle d'Aix-la-Chapelle, contemporaine à quelques années près, permet de mettre en lumière les traits communs et les divergences propres à la créativité architecturale carolingienne de la fin du VIIIᵉ siècle. L’absence d’absidioles, représentées à tort dans certaines enluminures du XIᵉ siècle, confirme la valeur limitée de ces sources iconographiques pour la restitution du plan d’origine.

Les mêmes fouilles archéologiques ont également mis en évidence qu’un incendie avait détruit la construction polygonale et sa prolongation basilicale, dépourvue de voûtes. Elle aurait été remplacée par une nouvelle église de style gothique, bâtie en deux campagnes successives, prolongeant la nef initiale vers l’est en suivant un plan basilical à trois nefs voûtées, avec chœur et transept et adoptant une élévation à trois niveaux. Si les trois premières travées de nef semblent en effet être une reprise de la nef ancienne, simplement charpentée, les travées suivantes, dotées de contreforts et de voûtes reposant sur des piliers octogonaux entre la nef et ses bas côtés, indiquent clairement la construction d'un édifice plus tardif que l'archéologue situe à la fin de l'époque gothique. La découverte d’un autel hors de la nef suggère l’existence d’une abside. Enfin, une annexe polygonale, accolée au mur sud de la cinquième travée, témoigne d’un ajout tardif, probablement des dernières décennies du XVIIᵉ siècle.

Il semble que l'incendie identifié par les fouilles archéologiques soit celui de 1475 provoqué par les troupes de Louis XI qui détruisit la ville et l'église Notre-Dame, ainsi que son clocher en bois, lequel ne fut rétabli qu'au cours du XVIIIᵉ siècle. Plusieurs projets de reconstruction se succèdent entre 1742 et 1752 : choix du site au niveau du portail, établissement de fondations sur pilotis pour pallier l’instabilité du terrain, puis élévation du clocher sous la direction du maître maçon Pierre Lécuyer d’Agenvillers. En 1751, l’entreprise de Nicolas Douay et Jean-Charles Défontaine assure la couverture en ardoise de la flèche et des ouïes. Le vieux campenard, rendu inutile, est finalement démonté en 1752.

À la Révolution, l’église paroissiale Notre-Dame est déclassée au profit de l’abbatiale (IA80011131), devenue paroissiale en 1791, tandis que l’édifice primitif est vendu la même année à un maître couvreur de la ville qui procède à son démontage complet. Durant de nombreuses décennies, seul le cimetière qui entourait l'église subsista. Aujourd'hui, le site est occupé par la mairie. Une croix en fer forgé (ill.) située à l'arrière du bâtiment constitue le dernier témoin de la présence de l'édifice et de son cimetière.