Le Gallet était rattaché à la paroisse du Saulchoy et de Viefvillers jusqu'en 1243, date de son érection en paroisse indépendante. Ces trois villages avaient donc un cimetière commun (actuel cimetière du Saulchoy), situé au milieu de la plaine, à égale distance entre les trois agglomérations. Le cimetière actuel du Gallet s'est donc établi contre l'église au moment où le village est devenu une paroisse indépendante.

Des vestiges de l'ancienne croix du cimetière (partie supérieure) sont visibles dans l'ancienne sacristie de l'église. Ils sont datables du 17e ou 18e siècle.

Au début du 19e siècle, Louis Graves indique que le cimetière est délimité par une clôture de haies et d'habitations qui le bordent du côté ouest (certains sont encore visibles sur une carte postale du début du 20e siècle). Comme en témoigne le cadastre actuel, un chemin partant du côté sud devait relier le cimetière au tour de ville. D'autre part, une entrée plus ancienne a pu exister à partir de la rue, à l'emplacement de la sacristie, construite dans les années 1880.

Les tombeaux les plus anciens encore visibles aujourd'hui remontent au 3e quart du 19e siècle. Le tombeau d'Auguste Judenne, ancien maire du Gallet mort en 1862, a par exemple été réalisé par Bertin, marbrier à Crèvecœur. Le dernier tiers sud du cimetière est probablement une extension plus tardive (autour de 1900?) compte tenu de la grande présence de tombeaux de la 2e moitié du 20e siècle.

Le monument aux morts de la Première Guerre mondiale est érigé dans le cimetière en 1921. Le mur de clôture actuel a été construit en 1926 (AD Oise : série O).