L'existence du village de Chermizy est connue par sources écrites dès 1146 sous le vocable Charmesius. Placée sous le patronage de saint Evence, la paroisse relevait du chapitre cathédral de Laon. Chermizy fut incendié par les troupes du prince de Condé en 1656. Le village d'avant-guerre, traversé par une rue unique dans laquelle les 120 maisons étaient mitoyennes, possédait un tissu urbain dense d'une centaine d'habitations. Généralement pourvues d'un étage, celles-ci étaient entièrement construites en pierre de taille, ce qui conférait à l'ensemble une unité architecturale intéressante. Le village ayant été entièrement détruit par les conflits de la Première Guerre mondiale, la reconstruction de Chermizy-Ailles fut confiée à la société coopérative d'Aizelles, Aubigny, Sainte-Croix, Chermizy et Bouconville. L'architecte communal était A. Bonnet de Paris et les entrepreneurs désignés Gaston Bernard de Bièvres et Jacques Hesbert (engagé dans la reconstruction de Chermizy dès 1922). En 1925, la commune reçut des aides de la part de Monaco et de la Tunisie afin de se relever des bombardements. En 1940, les travaux n'étaient pas encore totalement achevés dans le village de Chermizy.