Le Château blanc est implanté sur une vaste parcelle située entre la route nationale, qui fournit l'accès officiel, et la rue de Chanzy qui prolonge la rue Gambetta, et qui permet un autre accès, plus domestique, au jardin et à l'arrière de la propriété.

La forte déclivité du terrain entre ces deux axes de circulation a incité l'architecte à adopter des traitements différents pour chacune des façades, donnant l'impression de deux volumes accolés : une impression renforcée par le traitement des toitures différenciées. La façade qui borde en léger retrait la route nationale, face à la bâcherie du tissage de jute Saint Frères qu'elle domine, présente une élévation ordonnancée à quatre niveaux de sept travées, avec une travée centrale plus large. Le rez-de chaussée en pierre de taille est surmonté de deux étages carrés en briques et d'un étage de comble, couvert d'un toit en ardoise, à longs pans brisés en pavillon. De ce côté, les baies occupent une travée sur deux. Elles sont encadrées de chambranles en pierre de taille et ornées de coquilles en agrafe et guirlandes de laurier. Elles sont en plein cintre au rez-de-chaussée, cintrées au premier étage et rectangulaire avec fronton triangulaire au second. Les travées aveugles des étages sont ornées de niches avec pots-à-feux sur consoles à crossettes au premier étage, et de niches vierges au second étage. La travée centrale, qui accueille l'entrée principale est traitée entièrement en pierre. L'étage de comble est éclairé par une série de lucarnes de toit.

La façade postérieure, dite sur jardin, se distingue par la présence d'un étage de soubassement qui porte l'élévation à cinq niveaux, et par un percement de baies beaucoup plus régulier de chaque travées. L'axe est une nouvelle fois souligné par une largeur plus importante et la présence de l'entrée principale accessible par un escalier à volée double et repos de perron. L'étage de comble, couvert d'un toit en ardoise à longs pans brisés en pavillon, distinct de celle couvrant la partie sur rue. Cet étage de comble est éclairé de six lucarnes de toit en pierre de taille à fronton triangulaire, encadrant la lucarne centrale, qui elle, est beaucoup plus large et reçoit un couronnement à fronton cintré.

À l'image de l'architecture classique de la demeure, l'aménagement présente un certain nombre de caractères propres à l'architecture domestique de la fin du 19e et du début du 20e siècle (distribution en enfilade, escalier de pierre tournant, vastes espaces de distribution et de réception, décor architectural).

Bordant le jardin au nord, les anciens communs forment un bâtiment en brique et pierre à deux niveaux avec façade symétrique à sept travées.