La seigneurie de Villers-Bocage est attestée depuis le début du 13e siècle, mais il ne reste rien du château médiéval édifié près de l'église, sur une motte. Il fut remplacé par un manoir construit à la fin du 17e siècle, à la suite de l'achat de la seigneurie par Jean-Baptiste Berthe (1683). La famille Berthe l'habita jusqu'à la Révolution, puis le vendit en 1804 au négociant amiénois Florent Picard qui y séjourna avec sa famille. L'inventaire de 1792 le décrit comme une belle maison seigneuriale comportant grand et petit vestibule, cuisine, salon, salle à manger et sept chambres, plus la cave et les dépendances agricoles.

De cette demeure détruite au 19e siècle ne subsistent que les piliers du mur d'enceinte près de l'église paroissiale, les anciens communs désormais rattachés à l'exploitation agricole du nouveau château, et une partie de façade remployée dans le logis au n°8 de la rue du 14-Juillet. En 1868, l'ancien château est décrit comme démoli.

Le château actuel, en fait une grande maison de notable, date du 19e siècle (de même que le logis du fermier). Il fut construit pour M. Bénézy, juge de paix et maire de Villers-Bocage. Ce château est aujourd'hui à l'abandon, l'aile sud est déjà ruinée.