La présence d'un calvaire à Boulogne-sur-Mer est attestée depuis le XVIe siècle : celui-ci était au bord du rivage, au pied du plateau. Supprimé pendant la Révolution, le calvaire est rétabli en 1817 rue des Signaux et est transféré rue de la Tour-d'Odre en 1833. Le Christ en croix, en chêne, qui avait été exécuté par le sculpteur boulonnais Antoine Harrewyn, avait été détruit en 1876. Un autre Christ en croix, en fonte, fait au chantier de Dorignies, avait été mis en place par l'entreprise de maçonnerie Lacour Frères. Le calvaire, béni le 1er juin 1877, fut détruit durant le bombardement du 23 mai 1940.

Le calvaire fut reconstruit par l'architecte Philippe et fut béni le 24 août 1947. Ce chantier eu lieu en même temps que la reconstruction de la chapelle des Marins (IA62000010), également détruite pendant la guerre. Dans le mur du calvaire, de nombreuses plaques commémoratives étaient visibles, dont le mémorial de la Marine boulonnaise en hommage aux 300 marins morts pour la France depuis 1918. Le calvaire, et la chapelle, furent détruits en janvier 1995 à cause de l'érosion de la falaise.

L'édifice est reconstruit sur un site plus éloigné de la falaise, au même endroit que l'actuelle chapelle des Marins. L'ensemble est réalisé selon les plans de Guy Crespel, et le nouveau Calvaire est inauguré en juin 1996, le jour de la fête de Saint-Pierre, patron des marins. Le crucifix de l'ancien site y est remployé.