Le cadastre napoléonien (1851) donne une représentation de l'ancien arsenal, implanté en parcelle d'angle. On peut y voir un bâtiment de plan en L avec cour, aligné sur rue, et un grand jardin occupant alors la presque totalité du terrain, bordé au sud par des communs.

Selon A. Goze (1854), l'ancien hôtel des Fiefs est construit en 1547, sur l'ordre du Roi, pour y abriter l'artillerie et les munitions de la place. Réparé et agrandi aux 17e et 18e siècles, il sera transformé en arsenal en 1810 puis détruit pour permettre la construction d'un musée. La ville céda les terrains de l'ancien couvent de Moreaucourt pour agrandir et régulariser l'emplacement. Le projet mis au concours donne lieu à une exposition. Le projet lauréat est un bâtiment de style Renaissance, dans le genre de l'hôtel du 28 rue Saint-Denis. Mais l'auteur engagé à fondre les divers projets se retira. C'est l'architecte Parent qui lui succède.

Pour H. Calland (1869 ca.), le musée Napoléon "est l'un des plus beaux ornements de la ville d'Amiens" (voir annexe).

Les frères Duthoit (1874) indiquent que l'ancien arsenal, construit sous le règne d'Henri II est rétabli en 1636, tel que le présente le dessin d'Aimé Duthoit, réalisé en 1853. Les armes de Maximilien de Béthune, duc de Sully, surmontaient le portail. En 1810, il est affecté à l'académie universitaire d'Amiens qui n'y est pas installée. L'édifice est alors cédé au service de l'artillerie, de 1818 à 1845. En 1853, l'empereur autorise sa cession à la Société des antiquaires de Picardie pour y élever un musée.

Selon les recherches menées par Nathalie Mette lors de l'enquête de 1997, l'ancien musée Napoléon fut construit à l'initiative de la Société des Antiquaires de Picardie qui eut recours à 4 loteries pour financer son projet. Le concours pour la construction du musée fut publié le 15 décembre 1853. L'architecte Henri Parent qui fut choisi, se vit dans l'obligation de remanier ses plans en s'inspirant de certains autres projets présentés (Botrel, Gance, Diet). L'adjudication des travaux eut lieu le 7 août 1854 en faveur de l'entreprise Lormier-Tategrain et la première pierre fut posée en septembre 1855. Après la démission de Parent en 1855, des architectes, tels que Charles Pinsart ou Garnaud, assurèrent son remplacement mais c'est Arthur Diet qui acheva la construction. Il transforma entièrement la décoration dans une style composite gréco-romain et Renaissance et construisit l'escalier d'honneur dont la première pierre fut posée le 20 juin 1862. Des peintures murales de Puvis de Chavannes en composent le décor magistral. Inauguré le 30 mars 1864, le musée fut définitivement aménagé en 1866. En 1890, Emile Ricquier créa le Grand salon sur l'emplacement de la cour intérieure et deux galeries aux rez-de-chaussée et premier étage. En 1992, l'artiste Sol LeWitt réalisa son "Wall-drawing numéro 711" dans une des rotondes.