L'histoire de ce bâtiment est assez confuse : il semblerait qu'entre le petit bras de la Haynette, sur le passage duquel s'achève la rue de la Haynette jusqu'en 1828, et le bras d'eau qui longe la fortification au sud, rien n'ait été bâti avant la fin du XVIIIe siècle En effet, ni le plan cavalier dressé par Deventer au XVIe siècle, ni le plan des propriétés bâties établi en 1754 (AC Condé-sur-l'Escaut) ne montrent d'urbanisation de cette portion de la ville à ces dates. Le refuge de l'abbaye de Crespin, antérieur au XVIe siècle - et parfois identifié à tort avec l'édifice étudié -, était donc situé dans la première portion de la rue (cf. l'appellation de "rue du vieux refuge de Crepin" encore donnée sur le plan cité plus loin, établi en l'an III).

Cependant, le projet du percement de la rue jusqu'au rempart, récurrent puisqu'apparaissant déjà sur un plan de 1736, est poussé plus activement dans les années révolutionnaires : à cette occasion, un document daté du 9 germinal an III (29 mars 1795, AC Condé-sur-l'Escaut) souligne l'intérêt économique que trouverait aussi l'émigré Paillot, au travers de la propriété duquel passerait la nouvelle voie, à se satisfaire du projet. Le plan joint indique la poursuite du percement de la rue jusqu'au rempart et le tracé de la percée au travers de l'édifice ; il existe donc alors une grande maison, voire un hôtel, situé au-delà de la Hainette.

Le plan parcellaire de 1808 donne l'emprise de cet édifice, bâti à cheval sur le tracé du futur percement, articulé autour d'une vaste cour centrale et comprenant deux ailes à l'emplacement de celles existant actuellement. Le plan d'alignement dessiné en 1822 reprend derechef le projet de percement, finalement autorisé par l'ordonnance royale du 6 février 1828 ; il faut noter que le cadastre de 1826 indique déjà comme une réalité la poursuite de la rue jusqu'au rempart.

L'édifice étudié dans sa configuration actuelle, c'est-à-dire composé d'une aile perpendiculaire à la rue et d'une autre en retour, dégageant l'espace d'une cour-jardin en front-à-rue, est donc le vestige d'un ensemble beaucoup plus vaste sans doute érigé dans le 4e quart du XVIIIe siècle. Dans le courant du XIXe siècle, l'hôtel est la propriété de la famille Fally, brasseurs à Condé. En 1844, Paul Fally obtient de la commune l'autorisation de "rejointoyer et bagigeonner la façade de [sa] maison rue de la Hainette" (23 juin 1844, AC Condé-sur-l'Escaut, P 11) - puis de faire construire "un bâtiment tenant à [son] habitation, faisant face au quai" (19 juillet 1844, idem), l'actuel café-restaurant Le Chancel.