Le quartier du bourg actuel est issu de l'ancienne place-forte du Crotoy, close de murs, naturellement protégée par la mer et un château dans la partie sud, ainsi qu'un système de fossés.

Le château, fondé à partir du 8e siècle est fortifié à partir de 1340 : il se composait d'un donjon avec quatre tours rondes. De ces systèmes défensifs il ne reste rien, hormis quelques pans de l'ancienne enceinte urbaine [fig. 1, 2, 20]. La population du chef-lieu se concentre dans cet espace clos, où un incendie détruit 64 maisons en 1799.

Le cadastre de 1828 montre qu'à cette époque, l'agglomération urbaine reste regroupée 'dans les murs'. Seules quelques habitations sont établies le long de l'actuelle rue Grognet-Gourlain. Au centre de ce quartier trône l'église paroissiale, dotée d'un beffroi.

Dans une délibération du 15 février 1860, le conseil municipal décide de reconstruire l'église qui subit des réparations depuis trois décennies. Un terrain est acquis en 1861 (AD Somme, 99 O 1324) pour reconstruire et agrandir l'édifice religieux, en 1862-1866, sur les plans de Coulombel, architecte à Abbeville (AD Somme, 99 O 1321). L'ancien clocher du 15e siècle est préservé, sur le même emplacement.

Le port jouxtant le bourg est équipé d'un bassin de chasse à partir de 1862 après le décret impérial du 17 avril 1861 [fig. 6]. Achevé en 1865, il a été creusé par les prisonniers autrichiens de la guerre d´Italie et avait pour but d´entretenir le chenal secondaire. En l'absence de quais, le port était équipé d'estacades en bois [fig. 7 et 8]. Sur l'actuelle place Jeanne-d'Arc, étaient établis des chantiers de construction navale. En 1921, une halle aux poissons est construite entre la première et la seconde estacade, actuellement disparue (AD Somme, 99 O 1324). En 1933, une digue en béton est établie entre le quai Léonard et les estacades en bois (source : A.D. Somme, 99 O 1324). Le village de pêcheurs devient le centre commerçant de la station balnéaire à la suite du développement de l'activité touristico-balnéaire. On aménage les rez-de-chaussée des maisons en commerce, quelques hôtels de voyageurs sont construits. Des villas sont construites le long de la baie de Somme, sur les hauteurs. Mais au cours de la Seconde Guerre mondiale, certaines d'entre elles sont détruites et laissent place actuellement à des immeubles à appartements, comme la villa Rocher des Pins (1985 AS 113) [fig. 21].