Les traditions locales, dont la solidité historique reste difficile à établir, évoquent d’abord une chapelle primitive qui aurait existé au XVIᵉ siècle. Selon certaines sources, elle aurait été incendiée lors de la Révolte des Gueux, puis reconstruite avant d’être progressivement abandonnée lors de la construction de l'église. Cette chapelle serait à l'origine du vocable du village. Ces éléments demeurent toutefois incertains faute de documents contemporains permettant d’en confirmer l’authenticité.

D’autres récits situent ensuite l’histoire du lieu au XVIIᵉ siècle, dans un contexte marqué par les épidémies. Des religieux récollets venus de Saint-Omer auraient soigné ici des malades contagieux et des pestiférés maintenus à distance du Mont Cassel. La chapelle marquerait alors une limite symbolique à ne pas franchir pour les habitants du Bas-Pays. Ces traditions évoquent également un premier vocable, Notre-Dame-des-Miracles, et certains témoignages rapportent que le village se serait formé autour de ce sanctuaire ancien. Toutefois, en l’absence de sources directes, ces affirmations doivent être considérées avec prudence. On évoque aussi un autre vocable "de capelle van O.L.V. ter Lynden", c’est-à-dire Notre-Dame des Tilleuls. Tombée à la Révolution, cette chapelle aurait constitué le précédent direct de l’édifice actuel.

En 1847, la chapelle reconstruite ou restaurée porte sur son fronton une inscription indiquant la campagne de travaux : "Herstelt onder ’t bestier van d’Heeren Bernast, pastoor, en H.R. Dequidt, maire. MDCCCXXXXVII" — "Restaurée sous l’administration de Messieurs Bernast, curé, et H.R. Dequidt, maire. 1847". L’édifice adopte alors sa façade en moellons de grès. La cloche, fondue la même année, porte une longue inscription en flamand occidental : "Eggooten in het jaer 1847 ik draege den naem van Maria. Ik ben haer toegewyd inder den tytel van haer onbevlekt. Herte welkers broerchap my bestemt is te verkondigen. Mynen peter was Théophilus Lembrez. Myne meter Adelia Baelen", traduite par : "Fondue en l’an 1847, je porte le nom de Marie. Je lui suis consacrée sous le titre de son Immaculée Conception, dont la confrérie m’a chargée de proclamer le culte. Mon parrain était Théophile Lembrez, ma marraine Adèle Baelen". Vénérée le 15 aout, une neuvaine y est célébrée après les moissons (8 septembre).

L’édifice fait ensuite l’objet de plusieurs rénovations au XXᵉ et XXIᵉ siècles. En 1982, divers travaux portent sur les maçonneries, la toiture, le clocheton, la pose d’une nouvelle porte et le pavage extérieur, comme le rapporte L’Indicateur des Flandres du 6 mars 1982. En 2004, une nouvelle campagne de restauration concerne la réalisation d’une chape et de carrelages intérieurs, mentionnée dans L’Indicateur des Flandres du 30 décembre 2004. Ces interventions successives contribuent à donner à la chapelle son aspect actuel.