Le chapitre de la cathédrale de Rouen, qui possédait la terre de Braine au 7e siècle, semble y avoir disposé d'un manoir dans l'enceinte duquel sera fondée la collégiale destinée à garder les reliques de saint Yved. Cette église sera elle-même remplacée par l'abbaye prémontrée en 1132. Le manoir seigneurial médiéval, dont aucun état n'est connu, subit en 1587 un incendie dû aux guerres de Religion. Les documents figurés (plans, relevés) et les descriptions du 18e siècle montrent un logis du 16e siècle dont la disposition semble assez archaïque, malgré la richesse du décor et de l'ameublement. Cette situation explique les nombreux projets d'aménagement, de remaniement voire de reconstruction partielle du château et de ses abords, qui n'ont probablement jamais été menés à bien. Toutefois, un petit pavillon abritant un appartement des bains a été construit peu avant le milieu du siècle dans l'angle nord-est du logis. L'émigration du dernier comte de Braine en 1792 signe la fin du château dont le mobilier, les lambris et éléments de décor sont vendus. L'aile ouest est ravagée par un incendie et l'ensemble est finalement aliéné en 1798, démoli, et le terrain morcelé. Les caves voûtées du 16e siècle du corps de logis principal et le portail d'entrée du domaine, datant du 18e siècle, sont aujourd'hui les seuls témoignages de cette importante demeure. Le presbytère de l'église Saint-Yved a été construit en 1848 près de l'emplacement de l'ancien château, tandis que plusieurs demeures privées ont remplacé les anciens communs. La majeure partie de l'ancien jardin est devenue une prairie.