Le domaine du Fayel est sis au fond d'un vallon et est entouré de bois au-delà desquels s'étend jusqu'à la mer une zone sauvage de dunes appelée Les Garennes. Il est mentionné déjà sur le cadastre de 1816 au croisement du chemin d'Étaples au Fayel (qui se prolonge sous le nom de chemin du Fayel à Frencq) et de la rue du Mont-du-Fayel.

La seigneurie du Fayel est primitivement dans la famille d'Étaples puis passe au XVe siècle dans celle de Herscelaine par mariage (AD Nord ; B17119 : f°XXII v°). En 1574 elle est portée en mariage par Anne d'Aigneville de Hescelaine à Robert de Rocquigny, seigneur de Palcheux et d'Amberval. Leur fils Ambroise et ses descendants se fixent en Fayel.

Retrouvé par des ouvriers à l'occasion d'un chantier de terrassement en 1890, un trésor de 34 pièces d'or et de 200 pièces d'argent dont les plus récentes datent du règne de François Ier font supposer qu'une construction était déjà établie au début du XVIe siècle (Le Messin, 23 juillet 1890), ce que semblent confirmer les observations sur place de Michel Parenty : "L'importance des communs, les moellons et pierres de taille que l'on rencontre ça et là dans le sol et le départ de plusieurs constructions voûtées de brique, au fond du jardin clos, le laisseraient à penser." (PARENTY, 1996). Avant lui, Roger Rodière (RODIÈRE, 1925) cite un aveu daté de 1707 précisant que Le Fayel consistait alors "en maison seigneuriale, escuries, coulombier, tours, pavillons et aultres édifices considérables". Sous l'Ancien Régime, le domaine est très vaste en effet, s'étendant jusqu'à Étaples. L'aveu de 1707 énumère "ferme, terres à labeur, plantz, pastures, bois à couppe, allées, jardins à fleurs et en légumes, preys, riest et environ 400 journaux de terre en routtière de garennes".

On doit au capitaine Favery deux documents de grand intérêt produits en 1805 :

- un remarquable dessin aquarellé (intitulé Plan du château et parc du Fayel, quartier général de la première division du camp de Montreuil commandée par le général Dupont) représentant un plan du Fayel enserré au nord, au centre-est, au sud-ouest et au sud-est par d'importantes parcelles boisées qui font barrière à la progression du sable des dunes voisines. À l'ouest se distingue une parcelle densément boisée en forme de triangle. Cette dernière est percée de deux avenues de sens sud-nord, partant d'un même point et conduisant à ce qui semble être une grande pièce d'eau. Ces avenues sont coupées régulièrement par trois chemins plus courts de sens ouest-est, formant en tout neuf carrefours. L'entrée ordinaire se faisait comme aujourd'hui à l'est du domaine par la porte charretière (voir ill.), perpendiculaire à la route conduisant de Lefaux à Frencq. Cette route, par sa double bordée d'arbres sur le dessin de 1805, a une allure d'avenue privée. À cette époque, une autre entrée est ménagée au nord conduisant directement aux quatre carrés fleuris du jardin clos du manoir seigneurial. L'avenue qui coupait la route de Lefaux à Frencq pour percer le bois des Marques, plus au nord, n'existe plus aujourd'hui.

- une vue cavalière du Fayel présentant au premier plan des communs considérables à pans de bois et torchis avec toit de chaume, le tout organisé au carré, jouxtant l'immense cour principale du logis avec son pigeonnier circulaire central. Ce dernier document accrédite l'idée d'organisation primitive autour d'une basse-cour et d'une haute-cour. Ces communs ont aujourd'hui (2023) disparu.

À l'époque du Consulat, dans le contexte de préparation de l'invasion de l'Angleterre, Armand de Rocquigny du Fayel (1780-1851) et son épouse née Marie-Hélène Moullart de Torcy (1779-1861) voient s'installer au Fayel l'état-major de la Première Division du camp de Montreuil commandée par le général Pierre-Antoine Dupont (1765-1840), dont les trois régiments occupent des baraquements montés dans les dunes. L'un de ses aides de camp, le lieutenant Maurice Dupin, écrit à sa mère : "Nous sommes installés dans un castel qu'on décore pompeusement du titre de château. C'est bien le séjour le plus triste qu'on puisse imaginer, à cinq lieues de Boulogne, quatre de Montreuil et une d'Étaples [...] L'horizon est borné au loin par la mer et par des dunes de sable d'où lorsque le vent d'ouest souffle, s'élèvent des tourbillons qui se répandent au loin sur la campagne. Depuis quelques années, ce sable gagne les terres cultivées et stérilise tout ce qu'il touche. Le château du Fayel en est défendu par quelques bouquets de bois ; mais, sortez de là, vous êtes en Arabie. Heureusement, nous n'y faisons point des jeûnes de quarante jours et nous ne nous formalisons pas quand le diable vient nous y tenter. Ce manoir a, dit-on, appartenu au jaloux Fayel qui fit manger à sa femme le cœur de Coucy. Nous avons ici un M. du Fayel et sa femme mais tu conçois que les traditions de famille nous rendent très circonspects auprès de Madame, qui est pourtant assez jolie". (in SAND, George. Histoire de ma vie, 1856, t. III, p. 231). Au début du printemps 1804, Maurice Dupin fait venir au Fayel sa maîtresse, Sophie-Victoire Delaborde, enceinte de sept mois, et fait publier à Boulogne-sur-Mer les bans de son mariage pour assurer la légitimité de l'enfant qui allait naître. Finalement c'est à Paris le 5 juin 1804, à la mairie du deuxième arrondissement, que Maurice Dupin épouse sa "coureuse d'armée" - dixit la mère de Maurice - à l'insu de sa famille. Le 1er juillet naît une fille, Aurore, qui connaîtra la gloire des lettres sous le pseudonyme de George Sand. Elle écrira dans Histoire de ma vie (1856) : "J'étais donc déjà au camp de Boulogne mais sans y songer à rien, comme on peut croire."

Le général Dupont se marie lui aussi à Paris en décembre 1804 avec Grace Bergon. En janvier 1805, il emmène son épouse et sa belle-mère au camp de Boulogne. Dans ses mémoires, Grace Bergon donne à voir avec précision Le Fayel tel qu'il se présentait au début du XIXe siècle, à savoir un logis au caractère agricole affirmé et assez médiocrement aménagé : "Nous arrivâmes bientôt à Montreuil-sur-Mer. nous commençâmes là à trouver les maisons à escaliers et appartements sablés, sorte d'usage d'une propreté remarquable et qui n'en salit pas moins le bas des robes et les souliers [...] De Montreuil nous nous rendîmes au Fayel [...] Ce petit castel qui rappelait celui de M. de Crac, situé au milieu des dunes et autour duquel végétaient quelques arbres en butte à l'envahissement des sables [...] appartenait à un M. de Rocquigny [...] On arrivait dans le terrain vague qui servait de cour par une porte de chétive construction. Un pigeonnier, mirant sa face à l'eau stagnante d'une mare où s'abattaient quelques canards, se dressait devant le maigre rideau que formait derrière la cour les arbres [...] Telle était la brillante perspective de ce côté du bâtiment, lequel prolongeait une aile délabrée et inégale consacrée aux menus détails de la propriété [...], des fumiers, gisant çà et là, mettaient sur cet ensemble le dernier sceau du pittoresque. De l'autre côté, un jardin assez rétréci à carrés réguliers, auquel on arrivait en montant un escalier qui masquait le rez-de-chaussée du château, laissait entre lui et le bâtiment une espèce de ruelle inculte [...] Du côté de la cour, on entrait par une porte basse dans l'habitation. À droite se trouvait une pièce cumulant le double titre et le double emploi de salon et de salle-à-manger. Elle avait quatre fenêtres. Deux sur la cour en face du pigeonnier, deux autres sur la ruelle qui séparait la maison du jardin. De l'autre côté de l'escalier en bois et à marches vénérables qui était au milieu, on entrait dans une cuisine beaucoup plus spacieuse que la portée du bâtiment ne devait le faire présumer [...] Le haut de la maison ne se composait que de chambres plus ou moins nues parmi lesquelles on en avait réservé une pour me servir de petit salon, de boudoir ou d'atelier comme l'on voudra. Un vieux piano de minime calibre, ou plutôt une épinette, y avait été apporté pour moi. Un chevalet, des toiles et des pinceaux s'y étalaient de l'autre côté, et un bureau contenant la garniture la plus strictement nécessaire pour les loisirs épistolaires en était le plus bel ornement. La simplicité de ces appartements avait, comme on le voit, quelque chose d'assez rustique, et tout leur ameublement eût été à l'avenant si le général n'eût pas fait venir à grands frais pour six mille francs de meubles nouveaux afin que cela fût habitable." (AP Château de Rochebrune, Étagnac (Charente). Mémoires de la comtesse Dupont). Probablement à l'été 1805, le général Dupont et sa jeune épouse alors enceinte reçoivent au Fayel le maréchal Ney (1769-1815) et sa femme. Peu après le militaire reçoit l'ordre de remettre en marche sa division et de se rendre à Schelestadt, sur le Rhin. Monsieur de Rocquigny lui rachète 1 800 francs le mobilier qu'il avait commandé au moment de son installation : "Le général, sans s'arrêter à la différence énorme qu'il y a de six mille francs, que lui ont coûté six mois avant ces meubles, au dix-huit cent francs qu'on lui offre, ne pense qu'à l'ennui de les faire emballer et répond : "Soit je le veux bien." (AP Château de Rochebrune, Étagnac (Charente). Mémoires de la comtesse Dupont)

Madame de Rocquigny ne prise que fort peu la campagne et le confort sommaire du Fayel. Elle souhaite depuis longtemps s'installer en ville mais son époux se montre attaché à sa maison rustique et résiste à ses instances. C'est un incendie ayant ravagé les combles qui va précipiter leur installation à Boulogne-sur-Mer. Ce qui reste du premier étage est alors démoli et un nouveau toit est posé sur le rez-de-chaussée, donnant ainsi au logis seigneurial sa physionomie actuelle.

Le Fayel est demeuré dans la descendance d'Armand de Rocquigny et de Marie-Hélène Moullart de Torcy (2023).