L'actuelle maison était à l'origine un moulin, édifié au 17e siècle. Ce dernier, construit en appareil de pierre calcaire, présente quelques assises de brique en partie supérieure, et est couvert d'un toit conique. Ce toit avait la caractéristique de tourner selon l'orientation du vent. Peint en 1862 par Macqueron, le moulin était un lieu de rencontre entre artistes peintres. Il est transformé en maison de villégiature par adjonction de corps de bâtiments à la fin du 19e siècle.

L'annuaire des châteaux (1897-1898) indique qu'il est la résidence de parisiens, Georges Pfeiffer et sa femme.