Le château est mentionné en 1600 comme appartenant à la famille de Castres. Il est décrit comme bâti sur les bords d'un canal alimenté par les eaux du ruisseau de Beaumé, qui se divise pour former une sorte d'île. Cette topographie est encore partiellement lisible sur le site. On accédait à ce château, possédant une cour intérieure, par deux ponts, l'un du côté du levant, l'autre au midi avec un pont-levis. Les vestiges du château (pavillon d'entrée, bâtiments de la ferme et des communs), datent du 18e siècle. En 1737, le château et la seigneurie de Beaumé passent à Paul-Nicolas Desforges ; son fils Henri-Antoine-Marie en prend possession vers 1770. C'est vraisemblablement lui qui entreprend la construction du pavillon au midi servant de porte d'entrée au château (daté en briques vernissées 1772). A la suite de la Révolution, le domaine, qui comprend alors ferme et moulin, passe aux mains de M. Wacqunat puis de M. Hesdin. En 1827, les archives municipales font mention de M. Langlois, receveur des douanes à Aubenton qui vient d'acquérir la "maison et dépendances du Château de Beaumé". Celui-ci ensuite partagera le domaine, le château, la ferme et le moulin seigneurial en plusieurs lots, achetés par des particuliers. Le logis du château proprement dit paraît avoir été détruit vers 1850. Les éléments subsistants du pavillon d'entrée sont complétés par des constructions au cours du 19e ou du 20e siècle. En 1888, il est fait mention dans le pavillon d'entrée de la chambre de Mr Desforges avec sa cheminée en marbre de style Louis XV, servant alors de grenier. Nulle trace n'en a subsisté aujourd'hui, ce pavillon ayant été semble-t-il transformé au cours du 20e siècle en remise agricole. Les vestiges du château, principalement le pavillon d'entrée, sont actuellement abandonnés et menacés de destruction. A l'emplacement du logis, une maison, aujourd'hui inhabitée, a été édifiée dans la 2e moitié du 20e siècle. Les communs du château (parcelles A1 99 à 102) en ont été séparés (parcelle A1 105) et transformés au cours de la 2e moitié du 19e siècle en plusieurs fermes distinctes, ce qui a entraîné de profondes transformations de structure.