En l'absence de sources précises, le commanditaire et la date de construction de cet hôtel, connu sous le nom d'hôtel de Gaillon, restent incertaines. Son style architectural autorise toutefois une datation au XVIIIe siècle.

Les sources bibliographiques permettent d’en établir les propriétaires successifs à partir de 1770. À cette date, il appartient en effet à Louis-Pierre de Broutelles, qui le vend à Me André Delignières, notaire royal. L'acte précise que l'édifice est vendu "pour une somme de 1000 livres avec les glaces, trumeaux, consoles, tables de marbre à pied d’or, bras de cheminée doré, montures en émail, tapisseries sur toile encadrées à vis, buffets scellés ou non [...]" (BM Abbeville ; Ms 835). Le 14 juin 1779, l'hôtel est cédé par Geneviève Hurard, veuve de Me Delignières, au "religieux Seigneur Charles de Vion de Gaillon, commandeur de Loison". Ce dernier y effectue de nombreux travaux et aménagements, parmi lesquels la porte cochère, attribuée au sculpteur Simon Pfaff de Pfaffenhoffen, pour laquelle ce dernier aurait perçu la somme de mille écus.

Amateur de jardins mais ne possédant qu'une petite parcelle à l’arrière de son hôtel, il fait aménager une porte de communication prolongeant les parterres de sa maison à ceux du Champ-l'Abbé qu’il louait. L'historien Ernest Prarond note en 1871 que cette "maison était décorée avec un très haut goût ; il y avait fait peindre par le peintre Choquet, notre compatriote, des dessus-de-porte qui existent encore, nous le croyons, chez M. Caron, à Miannay". François-Joseph Ruggiu signale en outre que l'hôtel de Gaillon possédait notamment deux trumeaux peints par Pierre-Adrien Choquet, représentant les muses Calliope et Uranie, trumeaux aujourd'hui disparus.

Au début du XXe siècle, l'hôtel devient la propriété de la comtesse de l'Étoille, qui possède également l'hôtel de Monnecôve (IA80010565), situé rue Lesueur à Abbeville.

L’hôtel connaît de nombreuses modifications à la fin du XIXe ou au début du XXe siècle. D’après le cadastre de 1822, l’hôtel comprend une élévation sur rue, une aile en retour d’équerre au sud et un corps de bâtiment en fond de cour. Seule l’élévation sur rue est conservée et une aile en retour d’équerre au nord est ajoutée.