L'ancien couvent de Bénédictines est construit au 17e siècle pour accueillir les religieuses du couvent de Moreaucourt qui se réfugient à Amiens en 1635 (Goze, Hubscher) ou 1638 (Dict. Arch. Et Hist. De Picardie). Leur monastère tout en briques avec de très beaux souterrains (Goze) est construit en 1646, selon le rapport du conseil des bâtiments civils de 1822. Leur chapelle était dédiée à saint Jean l'Evangéliste. Le plan Arnaudin de 1770 en donne une représentation schématique qui permet cependant de comprendre son implantation.

Affecté à la manutention de vivres de l'armée, durant la Révolution, on y installe une filature de coton où travaillent les enfants de l'hôpital général, en 1812.

En 1822, la ville est autorisée à acquérir l'ancien couvent pour y établir les écoles chrétiennes et une bibliothèque municipale. Après avoir envisagé d'aménager le logis conventuel, seul vestige après la démolition de la chapelle détruite par un incendie, l'architecte communal Auguste Cheussey est chargé d'établir les plans d'un nouvel édifice, dont la première pierre est posée en 1823. Ce projet est publié dans le recueil Gourlier en 1824. A. Goze précise que le corps principal de l'ancien couvent sert à la construction de la bibliothèque, ce que confirment les délibérations du conseil des bâtiments civils mais également la position du corps central qui se superpose très exactement à l'ancien logis conventuel.

En 1842, la bibliothèque est agrandie d'une première galerie (donation Cozette) adossée au sud-ouest et visible sur le cadastre napoléonien de 1851 (doc. 1), puis d'une seconde galerie abritant la donation l'Escalopier, en 1867.

La gravure publiée par H. Calland (doc. 2) donne une représentation de l'édifice avant la construction des deux ailes est, réalisée en 1899 sur les plans de l'architecte Leullier (N. Mette). Un jardin à la française est alors aménagé dans la cour-jardin, orné du groupe sculpté représentant Angélique et Médor gravant leur nom sur un hêtre. Cette œuvre de Sébastien Adam, provenant du château d'Heilly, est transportée dans l'arrière cour du musée pour être remplacée par la statue de Lhomond, exécutée par Gédéon Forceville.

Cet édifice, transformé par les extensions de Leullier, est une des principales réalisations de l'architecte Auguste Cheussey à Amiens. De style néo-classique, il sera vivement critiqué par A. Goze, qui lui reproche sa lourdeur et son style inapproprié au site. Cette austérité résulte du budget consacré au projet mais également à l'esthétique dépouillée du style néoclassique.

Il s'agit d'une des premières bibliothèques municipales de France, dont la publication dans le recueil de Gourlier lui confère un statut de modèle.