L'Inventaire général du Patrimoine culturel recense, étudie et fait connaître le patrimoine urbanistique, architectural et mobilier de la région.
Le quartier des Quatre-Rues est un ancien faubourg de la ville, qui s'est développé au nord du promontoire sur lequel s'élevait le château disparu. Le cadastre napoléonien montre son organisation d'origine, le long de la rue de Saint-Valery. Il s'étendait sur la falaise qui surplombe la plage, prolongé par le nouveau quartier du port, comme le montrent deux plans du 18e siècle.
Au milieu du 19e siècle, il est principalement habité par des serruriers.
Le développement de la villégiature balnéaire au Bourg-d'Ault, puis à Onival, provoque une évolution progressive du quartier, dans lequel des villas destinées à la location sont construites, ainsi qu'un hôtel et restaurant. L'ouverture de la rue Neuve (actuelle rue Charles-Bréhamet), qui vient doubler la rue de la Prairie, au début du 20e siècle facilite le lien avec le bourg.
Plusieurs maisons anciennes sont encore présentes, reconnaissables à leur gabarit (en rez-de-chaussée) mais généralement très transformées.
La proximité d'Onival, stimule le développement d'une offre touristique, hôtels et restaurants et quelques maisons de villégiature, principalement rue de Saint-Valery et rue de la Pèche.