Bien que l'immeuble soit traditionnellement associé à la crèche Saint Frères, qui y fut abritée à partir de 1935, la première destination est bien celle d'une maison de direction, construite à la fin du 19e siècle pour la société Saint Frères, sans doute dans la continuité de la cité ouvrière.

Lors du recensement de population de 1906, la maison est habitée par Fernand Petit, directeur d'usine, avec son épouse, ses deux enfants et une domestique. A cette époque, la proximité de l'usine permettait au directeur d'être immédiatement opérationnel, de contrôler l'arrivée et le départ des ouvriers, ainsi que de veiller sur la cité ouvrière voisine.

A partir de 1936, à l'image du château Rouge de Flixecourt, l'immeuble accueille une crèche destinée aux enfants des ouvriers de l'usine, âgés de un à quatre ans. L'établissement reçoit son autorisation préfectorale en novembre 1936. La crèche des Moulins-Bleus pouvait accueillir une cinquantaine d'enfants. Cette fois, la situation de l'immeuble entre l'usine et la cité des Moulins-Bleus est mise au service des femmes, fileuses ou ouvrières d'usine, qui pouvaient y déposer leur enfant en allant travailler et le récupérer à la sortie d'usine, sans effectuer le moindre détour.

L'établissement ferme tardivement en 1956, après l'institution des allocations familiales et du salaire unique qui incitaient les femmes à rester davantage au foyer. Au moment de sa fermeture, la crèche n'accueillait plus que six enfants.