Les rares documents qui représentent le château de Noroy ne permettent pas de remonter au-delà de la fin du 18e siècle et donc de retracer l'évolution de ce domaine avant la Révolution française. Les bâtiments ayant en outre disparu après le premier conflit mondial, on ne peut aborder cette propriété qu'à l'aide d'un plan joint au contrat de vente de la seigneurie en 1786, du plan-masse intégré au plan cadastral du village dressé en 1835 et de quelques photographies éditées en cartes postales vers 1900. D'après ces derniers documents, le corps de logis principal semble avoir été édifié au 17e siècle, puis encadré par deux petites ailes, construites dans son prolongement dans le premier quart du 18e siècle. Le colombier, dont subsiste encore le niveau inférieur, paraît contemporain de la construction centrale.

Contrairement à l'histoire du château, la liste de ses propriétaires est bien connue à partir du début du 17e siècle. Il s'agit d'une branche de la famille de Garges, dont les membres se succèdent en ligne directe par les hommes jusqu'au début du 18e siècle, puis en ligne directe ou collatérale par les femmes jusqu'à la seconde moitié du 18e siècle. En cette fin de l'Ancien Régime, les diverses parties de la seigneurie - fragmentée par des successions - ont été réunies par Louise Renée Pulchérie Gauné de Cazeau, mariée à Henri-Emmanuel de Lonlay, baron de Villepail (ou Villepaille). Toutefois, quand éclate la Révolution, la seigneurie de Noroy n'appartient plus au baron de Villepail, contrairement à ce qu'on peut lire dans tous les ouvrages consultés. Elle a été vendue le 3 juin 1786 à Claude-Christophe Lorimier de Chamilly, premier valet de chambre du roi Louis XVI, qui va accompagner le souverain à la prison du Temple, puis être condamné à mort le 23 juin 1794. À la différence d'autres châteaux de l'Aisne, aucun procès-verbal de visite d'époque révolutionnaire, permettant de connaître la distribution intérieure du logis seigneurial, n'est conservé aux Archives départementales. Il ne s'y trouve qu'un acte daté du 30 fructidor an 2 (16 septembre 1794), dressé lors de la vente à l'encan de quelques meubles et effets trouvés dans une chambre du château, peu après la condamnation à mort du propriétaire.

Les deux enfants du condamné héritent de ses biens à part égale. Mais sa fille, Adélaïde Marie Octavie Lorimier de Chamilly, se révèle créancière sur la succession bénéficiaire de son père. Décision est alors prise de vendre la terre de Noroy et de dédommager l'héritière avec le prix de la cession. Le 3 vendémiaire an 5 (24 septembre 1796), la vente a lieu au tribunal du département de la Seine, où Adélaïde Marie Octavie Lorimier de Chamilly peut ainsi racheter le château et les anciennes possessions de son père (fermes et terres) à Noroy.

Quand, devenue veuve de Louis Aymon de Pernon (administrateur général des Loteries), elle revend la totalité du domaine le 10 avril 1823 à sa fille Agathe-Aimée et à son gendre Théodore-Guillaume Marc de Saint-Pierre, aucune description du château n'est rédigée. L'acte mentionne seulement : "le château ou maison de chef, cour, jardin, bâtiments, clos et vergers". Il y est toutefois observé que la venderesse a fait construire une partie des bâtiments - du château comme des fermes -, soit en remplacement d'autres, soit par augmentation de la propriété. Peut-être faut-il comprendre dans ces travaux la surélévation du corps de logis central du château par un étage attique ?

Six mois plus tard (le 13 octobre 1823), le domaine est revendu à René-Claude Geoffroy, explorateur puis docteur en médecine de la Faculté de Paris, et à son épouse, Angélique-Ambroise Germain, issue d'une célèbre famille d'orfèvres parisiens et sœur de l'éminente mathématicienne Sophie Germain.

La comparaison entre le plan joint à l'acte de vente de 1786 et le plan cadastral de 1835 révèle quelques-unes des modifications subies par la propriété au cours de ce demi-siècle, sans qu'il soit possible de les dater plus précisément. Si l'ancien logis seigneurial en fond de cour a conservé le même plan-masse, en revanche, les écuries et granges qui bordaient la cour sur les trois autres côtés ont été partiellement détruites ou transformées. Enfin, la pointe occidentale du domaine - jadis dépourvue de bâtiments - est désormais occupée par plusieurs petites constructions.

Par la suite, la documentation nomme, à l'occasion, certains propriétaires du château, tel Henri du Trochet ou Dutrochet - second mari d'Angélique-Ambroise Germain -, savant naturaliste qui aurait aménagé un laboratoire au château. Bien qu'aucune information ne l'assure, il est possible que le château ait continué à faire partie des biens de Madame Dutrochet jusqu'à sa mort, survenue le 26 janvier 1875.

Après cette date, le domaine passe dans les mains de Louis-Alexandre Yvon (parfois nommé d'Yvon) - ancien inspecteur du mobilier de la Couronne - et de son épouse Mary Ann Smith, jusqu'au décès de cette dernière le 7 février 1892. Le château leur doit la construction de communs vers 1876, campagne de travaux pour laquelle est à nouveau exploitée la carrière de pierre à bâtir du village. L'instituteur, qui donne cette précision dans les monographies communales, laisse entendre que le parc a été sans doute réaménagé vers la même époque, puisqu'il s'y trouve dans les années 1880 deux petits étangs "de construction récente" alimentés par des sources. Les dernières transformations apportées au bâtiment précèdent de peu 1914 et consistent dans l'embellissement des trois lucarnes centrales donnant sur le parc, travaux dont le commanditaire n'est pas encore identifié, mais que révèle la comparaison entre diverses cartes postales.

Le domaine est ravagé par les bombardements et les combats de la Première Guerre mondiale, et les restes du château sont rasés lors de la reconstruction du village. Il n'en subsiste que le niveau inférieur du colombier et quelques communs, ces derniers fortement restaurés, voire reconstruits. Des bâtiments modernes ont été édifiés sur l'emplacement du château, après 1987 puisqu'ils ne figurent pas encore sur le cadastre de cette année-là.