Le bâtiment n'apparait pas sur les cartes de la ville avant le XVIIe siècle. Il figure sur la carte de 1682 (ill.), à son emplacement actuel près de la porte Saint-Martin, puis sur toutes celles dressées à partir de cette date. C'est un bâtiment d'une seule aile rectangulaire, parallèle à la rue qui longe les remparts. La légende de la carte dressée en 1769 ne donne pas plus d'informations sur la forme du bâti mais indique que le bâtiment porte le numéro 79 (numéro qu'il conservera sur tous les plans d'état-major jusqu'au transfert des bâtiments à la ville en 1921) et qu'il s'agit des "casernes et fours Saint-Martin".

Le dessin plus précis de la carte de 1787 (ill.) montre un bâtiment unique, de plan rectangulaire, couvert par une toiture à longs pans, percée de lucarnes : une sur la façade avant et trois sur celle arrière. Une grande cour s'étend à l'arrière du bâtiment.

Le plan de 1794 conservée aux AD du Nord (ill.) montre un bâtiment désormais perpendiculaire à la rue, dont l'emprise est semblable à celle actuelle. La légende du plan indique "boulangerie". Le bâtiment principal est couvert par une toiture à longs pans et croupes. Il se poursuit à l'arrière de la parcelle par une aile en retour d'équerre, qui semble beaucoup plus petite que le bâtiment principal. Un petit pavillon carré occupe l'angle ouest de la parcelle. L'état des bâtiments militaires, document établi en 1798 (Mémoire raisonné sur l'état de situation de la place du Quesnoy considérée dans tous ses établissements, 1798 - AD Nord ; 66J1722), apporte des indications complémentaires : la boulangerie "est composée 1° : des chambres servant, l'une qui contient les fours de boulangeries, l'autre de dépôt de pain, la troisième de bluterie et la quatrième à recevoir les effets et ustensiles dépendants de la manutention. 2° : d'un petit hangar pour mettre le bois. 3° : d'un petit bâtiment composé d'une chambre, d'un cabinet et d'un grenier servant de logement à l'aide du magasin. Le grenier qui règne sur tout le grand bâtiment peut contenir 800 sacs". Le contenu des sacs n'est pas précisé : farine ou munitions comme dans les autres greniers de casernes ? Le bâtiment est "utilisé suivant sa destination", c'est à dire sans changement par rapport à sa fonction initiale, et il est en : "très bon état. [Il] avait été en grande partie détruit dans le siège de 1793, mais on l'a rétabli en l'an 3 et 4 [1794-95]. Les deux fours peuvent cuire 5 000 rations en 24 heures."

La date de 1784 portée sur la clef de la porte centrale du bâtiment ne correspond à aucune des campagnes de construction du bâtiment. Elle est soit un élément réutilisé de la première boulangerie rappelant une date de modification du bâti, soit une erreur lors de la restauration des bâtiments en 2015 (la pierre de la clef de l'arc est en effet de couleur plus jaune que les autres blocs des montants de la porte).

Cette boulangerie militaire est qualifiée de "boulangerie en temps de paix". Elle était doublée d'une "boulangerie en temps de guerre", chargée de continuer à produire de quoi nourrir la troupe lors d’un siège, même sous les bombardements. C'est pourquoi elle est Installée dans l’épaisseur des remparts. Elle est située juste en face de la « boulangerie en temps de paix » (ill.).

À partir de 1880, l'indication portée sur les plans devient "Manutention des vivres", puis simplement "Manutention" dès le cadastre de 1817 (ill.). Le plan de 1921 dressant l'état de la ville (AD Nord, ill.) montre que la structure du bâtiment n'a pas souffert lors du conflit. Le procès verbal de remise à la ville du Quesnoy des bâtiments militaires, établi la même année fournit une description un peu plus précise du bâtiment : "D'une contenance totale de 8 ares et 57 centiares, dont 5 ares et 8 centiares de surface bâtie (...) comprenant trois bâtiments. A : bâtiment à rez-de-chaussée et à étage, à l'usage de boulangerie et de magasin aux grains et aux farines. Bâtiment construit en maçonnerie de briques, charpente en bois, couverture en ardoises en mauvais état (1/2 carton bitumé). Mur de clôture avec porte en bois à deux vantaux. Bâtiment B de 1,50x1 m à usage de latrines. Bâtiment C : hangar en bois, comprenant cinq poteaux en bois avec fermes en bois à un pan, couverture en tuiles en mauvais état (1/2 carton bitumé). Bâtiment D à usage de corps de garde , à rez-de-chaussée et combles, maçonnerie de briques, fermes en appentis, couverture en ardoises, sol carrelé au rez-de-chaussée, planchéié aux combles. Cour pavée en grès. Valeur actuelle de 20 000 francs" (AD Nord ; 66J1834).

Sur la vue aérienne réalisée par l'IGN en 1934, le bâtiment est entièrement enduit et la cheminée n'est plus présente. Cette dernière réapparait sur les clichés de l'IGN à partir de 1968. Mais il s’agit alors d’une tour de séchage de tuyaux installée lorsque le bâtiment était utilisé comme caserne de pompiers dans les années soixante et non d'une ancienne cheminée de la boulangerie militaire.

Des photographies anciennes permettent de dater de 2015 la réhabilitation de l'immeuble qui accueille désormais des bureaux et des logements.