Le chanoine Jean-Baptiste Castel, ancien vicaire général sous Monseigneur de Fitz-James, fait édifier et décorer vers 1778-1780, deux chapelles ouvrant sur le collatéral nord du chœur. Le lambris et l'autel sont installés en 1780.

En 1877, cette chapelle - où se trouve alors le tableau du Baptême du Christ - est aménagée pour recevoir les appareils d'un calorifère qui y subsiste jusqu'en 1892, date à laquelle l'évêque demande son enlèvement. Il est probable que ce changement d'affectation, même temporaire, ait entraîné de grands bouleversements dans l'aménagement et le décor de la chapelle, mais les archives n'en précisent malheureusement pas l'étendue.

Les bombardements de la Première Guerre mondiale affectent particulièrement cette partie de l'édifice. Mais il faut attendre que la nef restaurée soit rendue au clergé pour que commence la réparation de cette chapelle et de sa voisine. Les deux chapelles rénovées sont bénies le 5 mars 1933. Celle-ci est alors consacrée à sainte Thérèse de l'Enfant Jésus, canonisée quelques années auparavant. Grâce à l'existence de lambris de la fin du 18e siècle, provenant du salon de l'ancien évêché et remisés à la Sous-Préfecture depuis la séparation des Églises et de l’État, la chapelle peut alors retrouver approximativement l'aspect qui était le sien au moment de sa construction. En revanche, elle doit être dotée d'un autel et d'un retable modernes, dont le décor fait référence à la sainte patronne du lieu. Ce mobilier a peut-être été réalisé sur les dessins de l'architecte Émile Brunet, qui présidait à la restauration de l'édifice depuis la fin de la guerre et est également le concepteur d'autres éléments de l'ameublement de la cathédrale au cours de cette décennie. L'installation au centre du retable du tableau peint par Gabriel Girodon vers 1938 a parachevé la résurrection de cette chapelle.