Selon A. Goze (1854), la famille de Contay fait l'acquisition de l'ancienne auberge du Soleil où elle fait construire un hôtel, acquis en 1624 par les Oratoriens. La chapelle, dont il donne une description de la façade, est bâtie en pierres blanches, en 1687. Le couvent est acquis par les Dames du Sacré-Coeur, qui y font construire, en 1825, un "superbe bâtiment en briques et pierres de 33 m de longueur sur 19 m de hauteur" dont la façade est ordonnancée (superposition des 3 ordres). Selon l'ouvrage d'Aimé et Louis Duthoit (1874), l'hôtel des seigneurs de Contay succédait à une auberge portant l'enseigne Au-Soleil. Les auteurs situent la construction de l'église en 1687. Le dessin de Louis Duthoit figure un édifice construit en parcelle d'angle, close de murs. La chapelle s'élève à l'angle sud-ouest, ouvrant sur la rue. Elle se compose d'un vaisseau unique. Le clocher-mur surmonte la façade occidentale à pignon. Les bâtiments conventuels apparaissent, au nord, en retrait d'une cour. En 1802, le couvent est cédé aux Pères de la Foi qui y fondent un pensionnat, puis à la congrégation des Dames du Sacré-Coeur, fondée en 1802, s'y installera au début du 19e siècle. Les vestiges du couvent sont détruits en 1864 pour être remplacés par de nouveaux bâtiments. Selon le Dictionnaire historique et archéologique de Picardie (1919), le couvent d'Oratoriens est fondé en 1624 par l'évêque Le Febvre de Caumartin, dans l'hôtel de Contay, rue du Soleil (actuelle rue de l'Oratoire). Le couvent et sa chapelle, construits en 1689-1690, sont devenus la propriété des Dames du Sacré-Coeur-de-Jésus, au début du 19e siècle. Selon les recherches menées par Nathalie Mette lors de l'enquête de 1996, la chapelle de style néogothique est construite sur les plans de l'architecte Paul Louis Delefortrie et consacrée en 1867.