La seigneurie de Vauchelles a longtemps appartenu au chapitre de l'église collégiale Saint-Vulfran d’Abbeville (IA80010601), qu'elle tenait d'un don de Jean de Ponthieu, comte de Ponthieu. En 1260, le chapitre se défait du domaine mais conserve la suzeraineté (De Belleval, 1870). En 1510, Gilles Lamiré, écuyer et maieur (maire) d'Abbeville, alors propriétaire de la seigneurie de Vauchelles, la revend à Jean Le Sage, veneur du Roi en forêt de Crécy. Ce dernier épouse Marguerite de Ballen, fille de Jean de Ballen, écuyer et seigneur du Titre. Sa petite-fille, Antoinette Le Sage, mariée en 1597 à Claude de Cacheleu, seigneur de Popincourt, fait passer la propriété de Vauchelles dans la famille de Cacheleu. Elle la conserve jusqu'au début du XIXe siècle. En 1810, Françoise de Cacheleu épouse François-Joseph Leclerc de Bussy. Elle lègue le domaine à son fils Cadet, François-Joseph, colonel d'infanterie et maire de Vauchelles de 1815 à 1830.

Le château de Vauchelles aurait quant à lui été construit pour le chevalier Louis-Nicolas de Cacheleu en 1741. Cette date très précise était gravée au fronton de l'édifice (Seydoux, 2002), qui s'apparentait à une grande demeure de style classique. L'aquarelle peinte par Oswald Macqueron en 1864 (ill.) permet d'en faire une description plus précise. L'édifice en brique avec encadrement monumental en pierre découpant les six travées qui encadraient les ouvertures, présentait une élévation à un étage carré. Sa haute toiture, vraisemblablement en ardoise, était à longs pans et croupes. Elle comportait deux étages de comble, comme le suggère la représentation des deux niveaux de lucarnes. Les deux travées centrales, en léger avant-corps, étaient couronnées d'un fronton triangulaire. Elles accueillaient les deux portes d’entrée. Cinq grands conduits de cheminées sortaient du toit. Des dépendances étaient construites de chaque côté du château.

Une seconde aquarelle au lavis d'Oswald Macqueron réalisée d'après un croquis de Gillard représente la ferme du château et son pigeonnier (ill.). Cet ensemble était déjà présent sur le plan parcellaire de la commune établi en 1821 (AD Somme ; 3 P 1492/5). La ferme était ainsi implantée au nord-est du château et présentait une répartition des bâtiments agricoles autour d'une cour au milieu de laquelle se trouvait le pigeonnier. En reprenant la représentation figurée de Macqueron, il apparait que le pigeonnier était de plan circulaire et était construit en pierre de taille. Des fers d'ancrages donnaient la date de 1787. Par ailleurs, si la toiture du bâtiment de droite semblait couverte de tuiles, le traitement des bâtiments en fond de cour suggèrent davantage une toiture en chaume.

Utilisé comme poste de secours et dépôt de munition par les Allemands au cours de la Seconde Guerre mondiale, le château de Vauchelles est incendié dans la nuit du 31 août au 1er septembre 1944 par ses derniers occupants avant leur repli. Des photos prises après cet incendie montrent un château ruiné dont il ne subsiste que le mur nord (ill.). Monsieur Lepers, alors propriétaire, choisit de ne pas reconstruire son édifice (AC Abbeville, B800016201 AB N079) et d'abattre les derniers vestiges en 1952. Une maison a été construite sur la parcelle, au nord de l’ancien emplacement du château, dans les années 1970 (voir site remonterletemps.ign.fr en lien web). La ferme qui avait échappé aux destructions de la guerre était encore présente sur une photographie aérienne du 30 avril 1952 (voir site remonterletemps.ign.fr en lien web). Elle a été détruite quelques années plus tard pour construire une nouvelle école qui a ouvert ses portes le 28 août 1965.

Il ne reste aujourd’hui, de l’ancien château, que le portail et une partie du mur de clôture, sur la place communale.