Les élévations de ce manoir occupent l'emplacement d'un précédent édifice, hôtel ou habitation dont ne subsistent que les fondations d'époque médiévale. Ces espaces ayant vraisemblablement eu des fonctions de souterrain refuge, sont datables du 13e siècle, tout comme la plupart des autres réseaux souterrains d'Aubenton. Ces caves paraissent avoir été remaniées au 16e siècle et ont été bouleversées par la construction de l'actuel édifice. Ce manoir aurait été construit vers 1610 par Charles IV de Lorraine, date donnée par la tradition historique locale, une date de 1612 était lisible au 19e siècle sur une pierre dans la maçonnerie. Cette datation est cependant stylistiquement corroborable, le logis par la forme de ses fenêtres, l'élévation et la forme du toit date effectivement du 17e siècle. La charpente en place est vraisemblablement celle du 17e siècle. Ce manoir a peut-être eu une fonction défensive, étant situé à proximité immédiate du rempart et de l'une des portes de la ville. L'aile en équerre en retour sur la cour arrière, abritant primitivement des écuries au rez-de-chaussée, doit dater du 18e siècle. Certains éléments d'huisserie du logis, en particulier les volets intérieurs pourrait dater du 18e siècle. Devenu la propriété au cours de la Restauration de Louis Henri, duc de Bourbon, prince de Condé, le manoir devient la propriété de son fils, Henri de Condé qui y installe sa maîtresse, Miss Dawes, avant d'être acquis par la comtesse de Poligny. C'est au cours de cette période que le décor intérieur est mis en place. L'intérieur a été remanié au cours de la 2e moitié du 19e siècle, dont le décor de lambris de revêtement et l'escalier en retour avec jour en chêne qui datent de la fin du 19e siècle. La tourelle carrée sur l'élévation postérieure aurait été construite entre 1872 et 1880, tout comme vraisemblablement la marquise. Les communs abritant, outre une écurie qui a partiellement conservé ses stalles, le logement du concierge et une remise, datent du 4e quart du 19e siècle. Vers la fin du 19e siècle, l'édifice a été transformé en hôtel de voyageurs dit Hostellerie du Vieux Manoir, entraînant l'aménagement de chambres sous les combles. Le portail a perdu ses battants en fer forgé, l'ensemble des bâtiments et du parc, redessiné sur les plans de l'actuel propriétaire, fait l'objet d'une restauration attentive depuis les années 1980.