L'ancien hôtel des Fiefs est construit en 1547, sur l'ordre du Roi, pour y abriter l'artillerie et les munitions de la place (Goze). Réparé et agrandi en 1636 (Duthoit), il sera à nouveau affecté au service de l'artillerie de 1818 à 1845, malgré sa cession à l'académie universitaire d'Amiens en 1810. Le cadastre napoléonien (1851) en donne la disposition après l'ouverture de la rue de la Bibliothèque (actuelle rue Puvis-de-Chavannes). On peut y voir un bâtiment de plan en L avec cour, vestige de l'ancien hôtel, et un grand jardin occupant alors la presque totalité du terrain, bordé au sud par des communs, construits dans le 2e quart du 19e siècle. Le dessin d'Aimé Duthoit, en donne une représentation depuis la rue, en 1853, qui ne correspond pas au plan du cadastre. Sur ce dessin, le corps de logis à étage carré et étage de comble, aligné sur rue, semble se prolonger jusqu'à la limite de la parcelle au nord.

La construction d'un musée, d'abord envisagée comme une extension possible de la bibliothèque (séance du conseil des bâtiments civils de 1822 et 1823), est finalement réalisée à l'emplacement de l'ancien arsenal, à l'initiative de la Société des Antiquaires de Picardie. Lors de sa visite à Amiens, en 1853, l'empereur leur cède l'emplacement nécessaire.

Le projet mis au concours, cette même année, donna lieu à une exposition (Goze). Après l'abandon de l'auteur du projet lauréat (un bâtiment de style Renaissance), l'architecte Henri Parent est placé dans l'obligation de remanier ses plans en s'inspirant de certains autres projets présentés (Botrel, Gance, Diet). Commencé en 1855 (Lormier Tattegrain entrepreneur), le chantier est suivi par plusieurs architectes (dont Pinsard ou Garnaud), après la démission d'Henri Parent, la même année, puis achevé sous la direction d'Arthur Diet, deux ans après son inauguration, en 1866. Ce dernier transforme entièrement la décoration dans un style composite gréco-romain et Renaissance et dessine l'escalier d'honneur dont la construction commence en1862. Des peintures murales de Puvis de Chavannes en composent le décor.

En 1890, Emile Ricquier crée le Grand salon sur l'emplacement de la cour intérieure et deux galeries aux rez-de-chaussée et premier étage.

En 1992, l'artiste Sol LeWitt réalise son "Wall-drawing numéro 711" dans une des rotondes.

Pour H. Calland (1869 ca.), le musée Napoléon "est l´un des plus beaux ornements de la ville d´Amiens" (voir annexe 1).