La chapelle Saint-Jean-Baptiste du hameau de Houdencourt était probablement à l'origine la chapelle seigneuriale dépendant du manoir voisin. D'après les représentations anciennes, sa forme simple avec abside polygonale, larmier et contreforts permet de la dater du 16e siècle. Bien que mentionnée en 1684 comme "église paroissiale", il est probable qu'elle formait l'annexe ou la succursale de celle de Fransu. Elle aurait été restaurée au début du 18e siècle par le prieur de Domart, unique décimateur. La façade occidentale a probablement été reprise à cette époque.

La chapelle est restée affectée au culte jusqu'au décès de l'abbé Dorémus en 1884, toujours comme succursale de l'église paroissiale de Fransu dont le desservant résidait dans le preesbytère du hameau. Elle a toutefois continué d'être entretenue par les propriétaires du château jusque dans les années 1960. Les éléments mobiliers qui restaient encore en place (Christ en croix, vestiges du maître-autel et de la chaire à prêcher, fonts baptismaux et cloche) ont été transportés dans l'église et la mairie de Fransu, où ils sont étudiés.

La chapelle se dressait sur la place séparant le château du presbytère et des autres maisons. Construite en pierre sur soubassement de grès, elle était formée d'une nef unique prolongée d'une abside polygonale à trois pans. Elle était couverte d'ardoise. Un campanile essenté d'ardoise surmontait le pignon de la façade occidentale. Celle-ci était ouverte par une porte couverte d'un arc en plein cintre, accompagnée de deux oculi en partie supérieure. Les rampants étaient traités en brique à motifs en lame de couteau.