Construit en 1754 pour le marquis Charles-Louis-Alexandre de Beauffort, mayeur d'Arras de 1764 à 1765, ce vaste hôtel particulier est attribué à l'architecte arrageois Adrien-François d'Huez. Il est transformé en logement abbatial pour l'abbé commendataire, le cardinal Louis René de Rohan, dans les années 1780 avant de devenir une prison révolutionnaire de 1794 à 1796.

En 1805, le département du Pas-de-Calais acquiert l'édifice. En 1820, il est racheté par la ville d'Arras qui le transforme en collège (collège Jehan-Bodel). Une extension de l'édifice est alors construite.

Endommagé lors de la première guerre mondiale, il est reconstruit à l'identique avec cependant l'ajout d'éléments de décor modernes dans la ferronnerie des grilles d'entrée.