Selon l'abbé Hénocque, l'hôtel du Cygne était déjà attesté au XVe siècle. Il formait avec d'autres hébergements destinés aux pèlerins, le côté de la place du Beffroi (IA80011089). Selon le même auteur, au moment du sac de la ville en 1475, la maison était tenue par la maladrerie du Val qui trouvait très certainement dans cette activité d'accueil de pèlerins une source de revenus qu'elle consacrait aux soins des lépreux. Après cette date, la maison est occupée par Jean de Bouberch, sans que l'on sache s'il l'occupe pour une activité d’hôtellerie ou à titre privé.

Au cours du XVIIe siècle, le nom de cette maison "où pend enseigne le cygne" est exploité par Jean Cocu, désigné comme "hoste de la maison" dans les comptes de l'Hôtel-Dieu pour le vin livré au cours de l'année 1622 Né vers 1591 et mort avant 1647, il est également désigné comme marchand-brasseur et mayeur de Saint-Riquier ( Bucamp et al., 1996, t. I, p. 55).

En 1676, l'hôtel semble appartenir conjointement au seigneur de la Ferté et à Nicolas-François Hourdel, notaire, qui a épousé auparavant Marie-Françoise Cocu, fille de Jean Cocu (AD Somme ; E 1057/2 et E 1054/1, f°27 n°239). Elle est apportée en dot par Nicolas-François Hourdel à sa fille Marie-Madeleine qui, le 24 mai 1751, se marie avec le sculpteur autrichien Simon Pfaff de Pfaffenhoffen (1715-1784). La maison est alors voisine de celle appartenant à M. Hourdel qui, à l'époque, est maire de Saint-Riquier. De l'autre côté, en descendant davantage vers la place du Beffroi, la maison était attenante à une autre maison que Pfaff avait acquise pour moitié, suivant l'acte du 17 décembre 1751 (Wignier de Warre, 1897). En croisant les sources et l'analyse architecturale, l'hôtel du Cygne pourrait ainsi dater de la première moitié du XVIIe siècle. Les décors sont cependant plus tardifs.

Il semble en effet que le sculpteur qui, pour des raisons professionnelles, n'habitait pas à Saint-Riquier de manière régulière et avait installé son atelier à Abbeville (rue des Cuisiniers ou rue des Teinturiers) ne s'appropria la maison familiale qu'après le décès de sa femme en novembre 1773. Il revient s'installer à Saint-Riquier afin d'honorer une clause de son contrat de mariage qui lui attribuait l'usufruit de la maison de Saint-Riquier, à condition d'y habiter personnellement. C'est donc entre 1774 et 1783, date de son départ de Saint-Riquier pour Avallon, qu'il réalise les décors en stuc et en bois du salon. Selon Foucart, le style indiquerait une collaboration avec le sculpteur abbevillois Pierre-Adrien Grisel, spécialiste du genre, notamment le motif de l'aigle, visiblement plus tardif que les autres médaillons et qui présente quelques similitudes avec l'hôtel de Monnecôve à Abbeville (IA80010565). Par ailleurs, Pfaff décède le 17 juillet 1784 à Avallon. Par la suite, la maison est vendue à plusieurs reprises, mais les décors du sculpteur autrichien demeurent en place, mis à part les initiales du sieur de Raismes sous le Trophée de la Musique, qui sont apposées au-dessus de la cheminée par le premier propriétaire après Pfaff (voir ici). Plus tard, selon Foucart, une tête de lion servant d'ornement d'escalier aurait été vendue et serait depuis au château de Caours (IA80011048).

L'édifice est finalement inscrit au titre des Monuments historiques par arrêté du 5 septembre 2001 en considérant que "la maison du baron Simon Pfaff von Pfaffenhoffen à Saint-Riquier présente au point de vue de l’histoire de l’art un intérêt public en raison du témoignage historique et du lieu de mémoire que constitue cette maison et en raison de la grande qualité des décors dus au sculpteur Simon Pfaff".