Le château a été construit ou reconstruit en 1632 pour François de Groiselier, seigneur de Saint-Léger, sous la forme d'un long corps de logis cantonné de trois pavillons. Le marché passé avec les "carreliers" Jehan Gonthier et Foubert Vacquavant (annexe) précise les dimensions attendues du logis (70 pieds - 21,33 m de long, 22 pieds - 6,70 m de profondeur et 26 pieds 7,92 m de haut), qui doit être cantonné de trois pavillons "aux encoignures" et disposer de 26 fenêtres et 4 lucarnes. Les matériaux devaient provenir de la carrière de Saint-Léger ou de celle de Domart.
Le domaine, consistant en une maison seigneuriale, haute et basse cour et dépendances, entourés de fossées, de haies et murs, est acquis en 1669 par Nicolas Le Roy de Jumelles. Il sera habité par son fils, Nicolas-Henri, qui fait restaurer la demeure et bâtir des communs (écurie en pierre blanche) et dépendances agricoles (étables à chevaux, à vaches, à cochons, grange, bergerie, etc), avant 1709, date de son décès. Son fils, fait quant à lui aménager une chapelle bénite en 1767. Il est sans doute aussi le commanditaire des transformations faites au corps principal du logis dans la 1ère moitié du 18e siècle. En 1785, le domaine passe à Charles-Bernard, comte de Brossart de Saint-Léger puis à son gendre Louis des Essars.
Sur le plan cadastral de 1832 section B2, parcelle 395), l'ancien manoir comprend un logis cantonné d'un seul pavillon, au sud-est, plusieurs bâtiments fermant la cour, au nord, du côté de l'entrée, précédée d'un petit pont de pierre, qui s'effectue depuis l'ancienne rue de l'Eglise. Dans la cour, le petit bâtiment carré, au sud du vaste abreuvoir, est vraisemblablement l'ancien colombier. D'autres bâtiments sont également visibles au sud de la cour. Un vaste jardin s'étend à l'ouest.
En 1851, l'ancien manoir est habité par Albert de Saint-Pol, sa femme, Rosa des Essarts, et leurs deux enfants. Y résident également dans une dépendance, un garde des bois, dont les deux fils sont employés comme régisseur et domestique.
La propriété est acquise en 1898 par un juge de paix, qui loue à la commune, deux ans plus tard, une pièce du rez-de-chaussée et un petit terrain attenant de 400 m2, pour y installer une classe de l'école de garçons. En 1903, la commune achète le château qui est alors affecté définitivement à l'école des garçons, après son réaménagement par l'architecte Anatole Bienaimé. Un bâtiment moderne a été construit dans les années 1950 pour abriter de nouvelles classes.
