L'édifice visible sur le cadastre napoléonien levé vers 1839 (B 176, 177) appartient alors à Charles Armand Fidèle Delevacque, ancien négociant et maire de Péronne en 1815. Accessible depuis la rue du Noir-Lion, il comprend comprend une cour d'accès, un bâtiment principal de plan en L déterminant une cour centrale et un jardin au nord délimité par l'ancien rempart. D'après Dournel (1879), l'édifice occupe l'emplacement de l'ancien hôtel-Dieu de Péronne.

En 1855, la propriété est acquise par le Département de la Somme pour y transférer le palais de justice, toujours installé dans l'hôtel de ville. En 1860, le Département fait l'acquisition d'une propriété mitoyenne rue Saint-Fursy (B 175) appartenant à Louis Henri Leclerc-Fernet. L'édifice est partiellement détruit pour dégager la vue sur le palais de justice construit à l'initiative du Département.

La façade de la salle d'audience du palais de justice, connue par des photographies du début du 20e siècle, se signale par un décor de style néo-classique.

L'édifice détruit durant la Première Guerre mondiale est reconstruit, rue Saint-Fursy, à l'emplacement de l'ancienne prison.