En 1473, un aveu et dénombrement de la seigneurie de Virly par François de La Bricogne, écuyer, mentionne une maison seigneuriale, plusieurs maisons et courtils, un pressoir. Le domaine est vendu en 1650 par Pierre Tavernier, procureur et notaire royal à Coucy, à Jean Regnault, écuyer, vicomte de Quincy. Elle comprend la maison seigneuriale, ses terres et dépendances. L'actuel château de Virly, bien que considérablement remanié, pourrait dater de cette époque avec sa basse-cour régulière. En 1686, un contrat de vente de la terre, fief et seigneurie de Virly de Pierre Le Clerc à Claude Bouchet, fait état de 2 maisons seigneuriales, la "maison haute" (peut-être le château) et une "maison basse". Au 18e siècle, la seigneurie de Virly et de Lhuys appartient à la famille de Wolbock. Jean-Louis Armand, baron de Wolbock, fils du dernier seigneur et né à Braine en 1792, est devenu ministre de la maison du roi sous le règne de Charles X. Au 19e siècle, le domaine forme 2 entités séparées par le chemin de Virly : le château de Virly et le "domaine" de Virly sur lequel est construit, après 1865, un petit château caractéristique de l'époque.