Inspiré du Phalanstère de Fourier, le Familistère a été conçu par Godin, probablement avec les plans de l'architecte fouriériste Calland, pour offrir à ses employés et à leur famille des conditions de vie novatrices pour l'époque. En 1856, un jardin d'agrément est aménagé face à l'usine et les terrains de La rue des Prés sont acquis pour mener à bien le projet. Le Palais social est construit entre 1859 et 1879, suivi en 1882 et 1883 des pavillons Landrecies et Cambrai. Des bâtiments annexes abritent les équivalents de la richesse : économat, écoles et théâtre, buanderie, bains et piscine. A la disparition du fondateur en 1888, un monument à son effigie est érigé sur la place principale et son tombeau est élevé l'année suivante dans le jardin. L'ensemble est complété après la première guerre mondiale par le monument aux morts du Familistère. Comme l'usine, l'ensemble des espaces d'habitat et de services appartient dès 1880 à l'Association du Familistère, devenue Godin SA en 1968. Lors du rachat par le groupe Le Creuset l'année suivante, les logements sont vendus en copropriété. La Ville acquiert en 1971 l'école et le théâtre, en 1981 l'économat, le bâtiment d'hygiène et le kiosque, et en 1996 le jardin d'agrément. L'Association pour la Fondation J. B. A. Godin s'attache depuis 1989 à l'animation du site du Familistère pour lequel un projet de valorisation culturelle et touristique, nommé Utopia, est en cours d'étude.