L'édifice visible sur le cadastre napoléonien levé vers 1839 (B 176, 177) appartient alors à Charles Armand Fidèle Delevacque, ancien négociant et maire de Péronne en 1815. Accessible depuis la rue du Noir-Lion, il comprend une cour d'accès, un bâtiment principal de plan en L déterminant une cour centrale et un jardin au nord délimité par l'ancien rempart. D'après Dournel (1879), l'édifice occupe l'emplacement de l'ancien Hôtel-Dieu de Péronne.

En 1855, la propriété est acquise par le Département de la Somme pour y transférer le palais de justice, toujours installé dans l'hôtel de ville [IA80010441]. En 1860, le Département fait l'acquisition d'une propriété mitoyenne rue Saint-Fursy (B 175) appartenant à Louis Henri Leclerc-Fernet. L'édifice est partiellement détruit pour dégager la vue sur le palais de justice construit à l'initiative du Département.

La façade de la salle d'audience du palais de justice, connue par des photographies du début du XXe siècle, se signale par un décor de style néo-classique.

L'édifice est entièrement détruit durant la Première Guerre mondiale. Il est reconstruit plus bas, dans la rue Saint-Fursy, à l'emplacement de l'ancienne prison.