Le monument de pierre qui se dresse au nord du sanctuaire est l´une des deux « trésoreries », armoires dans lesquelles le chapitre gardait précieusement les nombreuses reliques des saints dont il était dépositaire, ainsi que certains objets en matériaux précieux. De la première, installée plus avant dans le sanctuaire et sans doute contemporaine de la reconstruction du choeur, il ne reste actuellement aucune trace. Le chapitre, la jugeant incommode et indigne d´un si riche dépôt, décide en 1408 d´en abandonner l´usage en faveur d´une nouvelle. Le chanoine Pierre Alavoine, mentionné dans divers documents, soit comme receveur de la fabrique, soit comme garde du trésor de l´église, offre alors cent florins d´or pour la fondation d´un obit le jour de son décès. Cette somme est employée à la construction de la nouvelle trésorerie en 1409. Endommagée et pillée après la prise de Saint-Quentin par les Espagnols en 1557, cette armoire prend place parmi les réparations à effectuer en priorité, une fois les chanoines revenus après la signature de la paix en 1559 (d'après le chanoine De La Fons). En 1811, le Conseil de Fabrique décide de faire peindre la Trésorerie, couleur bronze à l'extérieur, et bleu ciel à l'intérieur, et de réparer le mécanisme. L'édicule étant destiné à servir de tabernacle, il y est aménagé une niche convenablement garnie pour recevoir le Saint-Sacrement. Lors de la restauration intérieure de la basilique, dans la seconde moitié du 19e siècle, l'armoire reçoit un nouveau décor peint extérieur (en forme d'appareil à faux joints), qui a été retiré à l'occasion des restaurations consécutives à la Première Guerre mondiale.