Dès le début du 19e siècle, la présence d'un orgue d'accompagnement, indispensable pendant la reconstruction du grand orgue, est attestée à la cathédrale. L'inventaire de 1836 mentionne "un petit orgue qui se trouve à l'un des jubés". Mais, cet instrument étant sans doute devenu insuffisant ou défectueux, un nouvel orgue de chœur est commandé au facteur parisien Louis Callinet qui vient de restaurer le grand orgue.

Cet orgue d'accompagnement est réalisé en 1839, grâce aux libéralités de Mgr de Simony (3500 F). l'instrument se compose alors de huit registres, cinq jeux et leurs accessoires, enfin d'un buffet de style Louis XV, sculpté par le sieur Foucon, menuisier de la cathédrale. Les cinq jeux sont un bourdon de 16, une montre de 8, un bourdon de 4 et deux prestants. Un espace ayant été réservé dès l'origine pour trois jeux supplémentaires, l'orgue est accru par le même facteur d'un plein jeu, d'un jeu de trompette et d'un jeu de hautbois en 1841. Toutefois, dans le courant des années 1860, se fait sentir la nécessité de réparer l'orgue, de l'augmenter et de l'améliorer pour l'adapter aux goûts musicaux de l'époque. Les travaux sont effectués en 1865-1866 par les établissements Merklin-Schutze (successeurs de la maison parisienne Daublaine-Callinet), qui suppriment deux jeux en faveur d'un salicional et d'une flûte harmonique. L'orgue est désormais riche de 7 jeux et demi. Tandis que s'effectue, dans les mêmes années, le remaniement complet du chœur, de ses chapelles et du transept, l'architecte diocésain Adolphe Lance, à la demande de l'évêque, donne les plans d'un nouveau buffet de style néogothique, dont la réalisation en juillet 1870 endommage la partie instrumentale et provoque une nouvelle intervention des facteurs Merklin. À cette époque, ou peut-être même dès la création de l'orgue, l'installation de la console et du siège de l'organiste ont entraîné la suppression de deux stalles hautes.

L'orgue de chœur, situé dans une des parties de l'édifice les moins atteintes par les bombardements de la Première Guerre mondiale, survit au conflit. Dans cet espace rendu au culte, l'instrument est rapidement restauré et augmenté pour pouvoir remplacer le grand orgue détruit. En 1920-1921, le facteur rémois Augustin Brisset (décédé à la fin de 1920), puis son successeur Théodore Jaquot (de Rambervillers, dans les Vosges), l'accroissent de cinq jeux, portant le nombre de ces derniers de neuf à quatorze, et le dotent d'une soufflerie électrique. L'orgue de chœur, rétabli grâce au concours financier de l'archiprêtre Landais, est béni par Monseigneur Binet le 6 mars 1921. Une dernière adjonction de trois nouveaux jeux (nasard, doublette, tierce) a été effectuée en 1950-1951 par les soins de la maison parisienne Paul-Marie Koenig.