A l'origine de la station balnéaire de Cayeux existaient trois pôles d'habitat ancien : le Bout-d'Amont, le Bout-d'Aval et le quartier de l'église, habités par des pêcheurs et des agriculteurs. Un guide touristique daté de 1895 relate : 'Le bourg par lui-même n´offre rien de bien curieux ni de tentant ; les maisons, bâties sans ordre et un peu au hasard, ont un aspect triste ; quelques unes sont très isolées'. Selon Moisand (1883), les rues sont, en cette fin de 19e siècle, souvent envahies par les sables soulevés par le vent, de telle sorte qu'une porte est souvent percée à l'arrière de la construction pour pouvoir en sortir. Certaines sources relatent d'ailleurs qu'en bord de mer, les habitants ont dû parfois reculer face à cette invasion des sables, et leur souhait dans les années 1860, est de retourner au plus près de l'eau sur une digue de galet en formation [annexe 1]. Le premier récit de voyageur décrivant Cayeux-sur-Mer est celui de Victor Hugo qui traverse la commune en 1837 et en fait une description assez désolante [annexe 2]. Dès les années 1850, les bains de mer sont réglementés sur la plage, signe d'une activité bien implantée : en juillet 1852, un certain François Dufresne demande l'obtention d'un bail de trois ans d'une partie de la plage pour y placer des bains (source : délibération du Conseil municipal). Au milieu du 19e siècle, comme en de nombreux points de la côte, Cayeux-sur-Mer devient par ailleurs un site visité par des artistes-peintres et des écrivains. Le poète Millevoye et l'historien Louandre, originaires d'Abbeville (Somme), sont parmi les premiers, attirés par la chasse à la hutte dans les bas-champs. L'écrivain Léon Bloy, les artistes-peintres Jules Dupré (1865) et son élève Auguste Boulard (1865) les rejoignent (source : H. Braeuener). Les sources d'inspiration sont à l'époque les travailleurs de la mer, leur habitat, et les paysages marins. Les édifices représentés sont le phare de Brighton (phare nord) et l'église paroissiale (aujourd'hui en partie détruite). Les peintres et les chasseurs séjournent à l'hôtel du Panier Fleuri, situé dans le quartier de la Vieille Eglise (source : A. Mopin). Puis, les premiers estivants prennent l'habitude de louer des maisons de pêcheurs au Bout-d´Aval et au Bout-d´Amont, quartiers anciens plus proches de la mer, comme l'attestent ces lignes : 'Les marins et ouvriers sans fortune qui louent pour les bains tout en continuant à habiter leur maison doivent être exemptés de la patente de loueurs en garni' (source : délibération du conseil municipal, 1887). Les premières constructions seraient celles de M. Blaize qui s´établit dans la Grande-Rue (actuelle rue du Maréchal-Foch), en face de la maréchalerie Delattre, et M. Cloëz, un peu plus loin, près du puits Serry (source : A. Mopin) (maisons non identifiées). Près de la plage, la construction de l´Hôtel des Bains dans les années 1860 par Fontaine, le propriétaire de l´Hôtel du Panier Fleuri, symbolise l'essor du quartier balnéaire en formation, alors que les deux hôtels situés au coeur du quartier de la Vieille Eglise se voient dans l'obligation de fermer, faute de clients (Hôtel du Duc d´Aumale, par Jules Fournier, entre rue d´Enfer et Rue des Mathurins, et l'Aigle Impérial, fondé par Dufrenne sur la place de l´Eglise). Le succès de la station est immédiat : en 1883, de 7000 à 8000 estivants viennent à Cayeux chaque année (source : H. Moisand). En 1903, 45.000 billets de chemins de fer auraient été délivrés pour la destination de Cayeux (source : A. Mopin). Le village de Cayeux se transforme rapidement en station balnéaire en raison de l'attrait grandissant pour la plage et ses abords. La construction d'une nouvelle église paroissiale en 1900 non loin de celle-ci confirme le basculement des centres d'intérêts. Dans les années 1930, la villa Eole, située quai Neptune, héberge les pratiquants du culte protestant (source : guide touristique). Le lotissement en 1877 par l´administration des Domaines d'une large bande de galets située le long de la plage amorce cette transformation. Terrain improductif, cette bande de galets s'était accumulée en bas de l'ancienne plage. La vente par lots répond à des demandes continuelles de concessions par la mairie et par des particuliers, afin de pratiquer les bains et poser des cabines. En 1879, la construction d'un casino en position médiane accélère les ventes et les constructions de villas. Le lotissement du front de mer provoque un basculement des intérêts vers ce nouveau pôle : le lotissement Dumont-d'Urville est ouvert vers 1883 au sud de la commune, et celui de Brighton, au nord, vers 1882. En 1887, l'arrivée du chemin de fer accélère le processus. Dès lors, les visiteurs sont plus nombreux, de même que les besoins d'hébergement. La gare étant implantée à l'est du village, il est nécessaire de percer deux voies nouvelles afin de joindre l'édifice à la plage et au quartier balnéaire. Le long des avenues Carnot et Paul Doumer, tirées au cordeau, sont construites des villas et des magasins de commerce. La rue du Maréchal-Foch, qui relie la vieille ville aux quartiers balnéaires, devient une seconde rue commerçante, au plus près des nouveaux quartiers. Alors que le front de mer se couvre de constructions, les anciens quartiers du Bout-d'Aval et du Bout-d'Amont sont progressivement absorbés par le quartier balnéaire. L'habitat de pêcheurs est investi pour la location, et certaines dents creuses reçoivent des maisons de plaisance. L'activité est grandissante durant toute la première moitié du 20e siècle. Pendant la guerre 1914-1918, la commune sert de base arrière pour l´armée britannique, le hâble d'Ault sert de champ de tir pour l'armée belge. Pendant l'hiver, des cavaliers hindous séjournent à Cayeux. Le casino municipal et la colonie de Vitry servent d'hôpital temporaire, le palace-hôtel de Brighton devient centre de repos et de convalescence pour les Anglais, et l'hôtel des Bains sert de lieu d'enseignement pour se défendre contre les armes chimiques (source : Cayeux d'hier). En 1922, M. Vergnes, architecte à Paris, est chargé du projet d'embellissement et d'assainissement de Cayeux-sur-Mer. Les travaux, évalués à 800.000 fr. environ, doivent comporter notamment l'agrandissement du boulevard sur front de mer, la création de jardins et kiosques, de jeux, etc.

La période de l'entre-deux-guerres est marquée par le classement de la ville en station climatique, le 23 mai 1928. La Seconde Guerre mondiale marque une rupture importante. La commune est entièrement occupée par l'armée allemande entre juin 1940 et décembre 1944, des blockhaus sont construits (il en subiste plusieurs dans le quartier balnéaire, rue du Maréchal-Joffre et rue du Général-Leclerc), de nombreuses destructions sont opérées en front de mer. Ce n'est qu'en septembre 1944 que les occupants quittent la zone (source : Massart), et la commune mettra plusieurs décennies à s'en remettre.