La famille De Roussé, alliée aux D'Ally, possède la Seigneurie d'Escarbotin durant plus d'un siècle de 1550 à 1670. C'est Étienne de Roussé qui fonde la chapelle Saint Hubert d'Escarbotin en 1637. La famille Montmignon, magistrat amiénois, acquiert la terre et la seigneurie d'Escarbotin vers 1670.

Le cadastre napoléonien de 1826 montre que le château d'Escarbotin comprend alors un bâtiment principal implanté parallèlement à l'actuelle rue Henri-Barbusse, qui devait correspondre au logis, encadré par deux bâtiments en retour d'équerre (celui situé à l'est de plus grande dimension et muni d'une tourelle en demi-hors-œuvre). A l'est de cet ensemble, un bâtiment de plan allongé, abritant sans doute écuries et dépendances. Une mare est également présente en face du château, côté route. Des parcs et jardins complètent l'ensemble.

Ernest Prarond (1854) indique que la tour du château était décorée de plusieurs bas-reliefs déjà usés et mutilés par le temps. Ces bas-reliefs représentaient une bataille, livrée par un ancien seigneur du lieu à un châtelain du voisinage.

L'édifice est également connu par des dessins du milieu du 19e siècle de Duthoit, Macqueron et Gillard.

Les comptes-rendus de conseils municipaux conservés aux archives départementales, indiquent qu'en 1826, le château d'Escarbotin est habité par monsieur de Changeay.

En 1878, la municipalité achète le château pour y installer une école des filles. Un internat y est aménagé en 1890. En 1893, 110 élèves sont répartis dans deux classes.

Le château a également abrité un atelier de cylindres cannelés durant l’entre-deux-guerres.