Selon C. Massart (1996), la maison est construite pour le comte Raoul d'Anglès, député, sur un monticule, à l'emplacement d'une batterie d'artillerie. Les matrices cadastrales indiquent cependant comme premier propriétaire Auguste Denis, demeurant au Raincy (Seine-Saint-Denis), d'une construction mentionnée comme ayant été construite avant 1882. Raoul d'Anglès apparaît dans le recensement de population de 1872.

D'autres sources indiquent que la maison aurait pu être construite vers 1862, date d'aliénation de la batterie à l'emplacement de laquelle la maison est aussitôt élevée (AD Somme, 2 Q 20). Une addition de construction est mentionnée vers 1881 (imposition du cadastre en 1884). Ces mêmes matrices désignent la construction sous l'appellation La Bastille. La demeure est acquise par Emile Dupont vers 1924 (DCG Oise, 1924).

Les rapports d'inspection des années 1960 (série W) indiquent que la colonie est créée en 1928 par l'Oeuvre des colonies de vacances de Beauvais et de la région, date d'acquisition de la propriété. L'Oeuvre, qui accueille les enfants de l'arrondissement de Beauvais et de Clermont, fait une demande complémentaire de subvention au Conseil général de l'Oise en 1927. En 1929-1930 l'Oeuvre fait construire 3 dortoirs avec bains-douches, une buanderie, un réfectoire, suivis en 1934 de la construction d'un 4e dortoir et de l'aménagement d'un préau, dans l'angle sud-ouest du terrain. Ces différents bâtiments sont visibles sur la vue aérienne IGN de 1935.

Au lendemain de la seconde guerre mondiale, une nouvelle circulaire (1954) s'ajoute à celle de 1941, interdisant l'utilisation de bâtiments en bois pour l'accueil des colons.

Deux contingents de 145 enfants de 9 à 14 ans sont accueillis chaque année durant un mois, du 15 juillet au 15 septembre. En 1956, les dortoirs permettent de loger 104 enfants, le reste est accueilli sous tente.

Le personnel de la colonie est composé d'un directeur, d'un économe, d'un infirmier, d'un moniteur en chef et douze moniteurs, enfin d'une cuisinière et de huit femmes de service.

Après la construction d'une infirmerie (1949), l'Oeuvre se lance dans des travaux d'agrandissements, sur les plans de son architecte Paul Lelièvre, avec la construction d'un dortoir de 41 lits (à l'emplacement de l'ancien préau en bois) et d'un réfectoire de 180 places (en contrebas du pavillon d'administration), projetés dès 1955 et achevés avant 1960.

En 1958, l'Oeuvre décide ensuite la construction de nouveaux bâtiments en rez-de-chaussée, côté mer, et l'aménagement d'une entrée d'honneur rue du Phare. Ces bâtiments sont initialement destinés à abriter un vaste séchoir, une bagagerie et une salle de jeux, qui seront finalement installés dans les anciens dortoirs situés au nord de la cour. Achevés avant 1963, les nouveaux dortoirs, conçus sur le même modèle que ceux élevés au sud, accueillent quatre dortoirs de douze, vingt et vingt-huit lits. Le plan de 1960 (ill.) montre la présence de terrains de jeux dans la cour (volley-ball et basket-ball) et une voie projetée au sud de la propriété.

Enfin, en 1967 l'Oeuvre s'adresse cette fois à l'architecte Pierre Herdhebaut, pour la construction d'un nouveau dortoir de 120 places, qui remplace le bâtiment élevé au nord (rue des Oeillets). Il comprend six dortoirs, blocs sanitaires et infirmerie, au rez-de-chaussée, treize dortoirs de six lits et quatre chambres de moniteurs et sanitaires, à l'étage.

Les vues aériennes de l'IGN permettent de dater approximativement les dernières transformations, vers 1990, à l'extrémité ouest de l'ancien dortoir situé au sud de la cour et longé par la voie en impasse.

L'établissement accueille actuellement un centre d'aide par le travail.