D'après De Cagny (1865), le premier collège de Péronne, bâti au début du 17e siècle, est placé sous la direction des Oratoriens (1621) puis des Trinitaires (1683), qui quittent Péronne vers 1778.

Le collège communal de Péronne est autorisé par un arrêté du 7 octobre 1820. Il est installé dans les bâtiments de l'ancien collège, jugés inhabitables en 1810. En 1822, la municipalité vote le principe d'une nouvelle construction, permettant l'installation du collège qui compte plus de 60 élèves. Une chapelle est attestée en 1828. Reconstruit en 1825, il est agrémenté d'un clocher et d'une horloge en 1842 (Decagny).

Le recensement de 1836 y signale le principal, un prêtre, trois professeurs, deux maîtres d'étude et un portier.

L'édifice est représenté sur le cadastre napoléonien, levé vers 1839. Il consiste alors en un long bâtiment aligné sur la rue du Collège, une aile en retour et des dépendances dans la vaste cour, qui s'étend au sud, fermée par l'ancien rempart.

Les cartes postales des années 1900 montrent un bâtiment principal de 24 travées sur deux étages carrés et étage de comble, aligné sur la rue du Collège, avec un passage cocher décentré, une aile perpendiculaire de 9 travées sur deux étages carrés, au sud de la cour plantée d'arbres de tige, le préau au nord.

Côté cour, les baies du pensionnat sont réduites et certaines murées. L'ensemble est construit en briques et couvert d'ardoises.

Détruit durant la première guerre mondiale, il est reconstruit avenue Danicourt, face au collège de filles.