Vers 1880, il est vraisemblable que le site, propriété de Charles Saint, ait accueilli la manufacture de toiles de jute Saint Frères. Plusieurs mentions relevées dans les registres de délibérations du Conseil municipal soulignent à l'époque la nécessité d'élargir la ruelle Monsieur (actuelle rue de l'Eglise) qui dessert "la fabrique de Monsieur Saint".

Le logement qui a succédé à la fabrique est construit à l'extrême fin du 19e siècle ou au début du 20e siècle, après que la fabrique soit devenue inutile par la construction de l'usine Saint Frères en 1898. Une lettre de Pierre Saint, écrite à son frère André le 18 octobre 1910, désigne cette maison comme la maison dite "du Crotoy", estimée à 8000 francs, en raison de la présence d'une statue de Charles Saint dans le jardin. A ce titre, elle constitue un "bien de famille que l'on conserve pieusement". L'appellation "du Crotoy" viendrait du nom de son occupant, Alfred Ducrotoy, directeur de fabrique chez Saint Frères en 1881, et pour lequel Charles Saint aurait ainsi fait construire ce logement.