Louis Graves signale la présence d’une seigneurie laïque à Hardivillers en 1189 lorsque Radulphe de Ygi d’Hardivillers cède ses terres à l’abbaye de Breteuil. En 1239, Pierre Hamons en est le seigneur.

D’après les recherches de Philippe Seydoux (2009), le fief d’Hardivillers et Maisoncelle est acheté en 1498 par Pierre Le Gendre, seigneur d’Alincourt. Il les lègue à sa mort à Bertrand de Kerquifinen en reconnaissance de ses services rendus. À la fin du XVIe siècle, sa descendante, Catherine de Kerquifinen épouse Charles Barentin, maître et président de la Chambre des Comptes.

La famille de Barentin (elle est anoblie au cours du XVIIIe siècle) acquiert également la terre et le château d’Hétomesnil. En raison de la présence de nombreux ateliers de tissage à Hardivillers, Charles-Louis de Barentin décide de se focaliser sur ces terres et entreprend la construction d’une grande demeure en 1785. Toutefois, il émigre à la Révolution et ses biens, dont le château et son mobilier, sont saisis.

Le cadastre de 1810 permet d'appréhender l'emprise parcellaire du domaine. D'après ce document ainsi qu’un dessin du château réalisé en 1867 (reproduit dans l’ouvrage de Philippe Seydoux), la demeure se trouve alors au centre d’un parc aménagé, au milieu d’un espace circulaire ouvert sur quatre allées et orienté nord-est/sud-ouest. La porte dite "du Clos", porche en pierre en plein cintre, ferme le domaine au nord et se trouve au bout de la rue de la Grand Cour (Baticle, 1992).

Le logis, de style néo-classique, comprenait un corps central flanqué de deux ailes. Le dessin en élévation laisse apparaître son ordonnancement symétrique en travées régulières. Corps central et ailes comptent quatre niveaux : un rez-de-chaussée (destiné au service), deux étages (le premier avec de hautes baies) et un comble aménagé. En visite en avril 1794, le commissaire chargé de diviser le domaine en lots indique que le château est construit en pierre de taille et couvert d’ardoise. Cette demeure est associée à un vaste parc de vingt-huit arpents et une ferme. Cette dernière se trouvait juste au nord-est du château et consistait, d’après le cadastre de 1810, en un long bâtiment disposé parallèlement à la rue (aujourd’hui rue de la Grand Cour). Il était prolongé en retour par deux bâtiments plus étroits. Construit en pierres et couvert de tuiles, il comprenait les écuries, granges à foin, et grandes remises (Baticle et Thibault, 1992).

Le château est complètement inhabité et vidé de ses meubles dès 1801. En effet, lors de son passage dans la région à cette date, le préfet Cambry signale que le site est hanté par des bandes de démons "vêtus en présidents, en conseillers de robe rouge, toujours entourés de tourbillons de feu" au point que seul le fermier habitait "cette demeure de démons et de réprouvés""".

Après la Révolution, Charles-Louis de Barentin parvient à racheter à Pierre-Étienne Le Couteulx une partie des biens vendus dont le château et le parc. En contrepartie, il doit se résoudre à des opérations de morcellement qui sont autant de sources de litiges. Après sa mort en 1819, ses petits-enfants préfèrent le château de Meslay-le-Vidame en Beauce et se défont de celui d’Hardivillers en 1826 au profit de M. Rançon. Ce dernier fait abattre la plus grande partie des bâtiments pour vendre les pierres. Au début du XXe siècle il ne reste que les maçonneries ruinées de l’un des pavillons latéraux comme l’illustrent certaines cartes postales de l’époque. La porte "du Clos" a été démolie en 1948-1949 tandis que les derniers vestiges du château ont disparu en 1997.

Une exploitation agricole a remplacé l’ancienne ferme du château. En partie détruite par les bombardements de 1940, la plupart des bâtiments, dont le logis, ont été reconstruits dans les années 1950. Les murs de l’ancien bâtiment côté nord ont été intégrés dans les maçonneries de deux bâtiments de la ferme (mur-pignon du bâtiment aligné sur la rue et mur gouttereau du bâtiment nord). En dehors de la ferme, dans la ruelle du Château, des piliers de portail et un pavillon à plusieurs pans semblent être les derniers témoignages de l’entreprise de Charles Barentin.