À la suite du mariage de son fils René en 1912, Alice Saint (1858-1940), veuve d'Henri Saint, principal administrateur de l'entreprise familiale de 1890 à 1907, décide de laisser la demeure dite Château Rouge, où elle réside, au jeune couple, et entreprend de faire construire une nouvelle demeure, en contrebas dans la même rue. Elle en confie la réalisation à l'architecte tourquenois Charles Bourgeois (1878-1941), dont la signature figure à droite de l'entrée sur rue. L'immeuble est achevé en 1913. Bien que formé auprès des architectes modernistes bruxellois Paul Ankar et Victor Horta, Charles Bourgeois, réputé comme l'un des chefs de fil de l'Art Nouveau de la région lilloise, choisit à Flixecourt un style architectural très classique, voire académique, que l'on retrouve également dans la distribution et le décor intérieurs. Seuls quelques éléments de décor floral (encadrement des baies des élévations, verrières, rampe d'escalier), timide influence du style Art nouveau, ainsi que le sobre décor boisé de l'ancienne salle à manger, trahissent une construction du début du 20e siècle.
Construit principalement en pierre de taille, le château prend très vite le nom de Château Blanc, en opposition au Château rouge, construit en brique. Il demeure la résidence d'Alice Saint Jusqu'à son décès en 1940. Après cette date, l'immeuble est repris par la société Saint Frères qui procède à quelques aménagements intérieurs et le rebaptise en Résidence, destiné aux dirigeants de l'entreprise, tels que Henri Pelcé, ou l'ingénieur Malafosse, à l'origine du métier à tisser circulaire.
Vers 1975, le château est transformé en hôtel, avant d'être revendu en 1990. Il devient alors un foyer de vie pour personnes en situation de handicap psychique stabilisé. En 2005, le bâtiment est victime d'un incendie qui affecte particulièrement les combles et les étages supérieurs. L'ensemble est restauré et complété en 2007 par un bâtiment d'hébergement pour les résidents. Depuis janvier 2013, le site est géré par l'ADEPEI (Association départementale de parents et amis de personnes handicapées mentales).
Chercheur au service régional de l'Inventaire de 1985 à 1992, en charge du recensement du patrimoine industriel.