Le château d'Argoules est situé au centre du village, à proximité immédiate de l'église (IA80011231) et en bordure de place centrale. Cette situation, qui le prive de perspective, est dictée par la déclivité même du coteau, aménagé en un vaste parc, qui mène jusqu'à la rivière d'Authie, dont le cours traverse le domaine d'est en ouest.

L'édifice présente un plan massé rectangulaire de 24 m de long sur 9 m de large, flanqué aux angles de tourelles octogonales. Celles du côté sud, vers la place, sont en encorbellement portées par des contreforts droits. Il est complété par un autre corps de bâtiment, en pierre de taille, qui le prolonge à l'ouest et qui correspond vraisemblablement à l'ancienne habitation de la ferme attenante.

Construit en brique, le corps principal repose sur une vaste cave voûtée en berceau qui s'étend sur toute la surface et qui abrite une source maçonnée servant historiquement de rafraîchissoir. Sur un soubassement de grès qui assure la solidité de l'assise, il développe une élévation à sept travées, sur deux niveaux d'habitation et un étage de comble, éclairé de lucarnes jacobines. Le rythme actuel des ouvertures est le fruit des remaniements dont l'édifice a fait l'objet, dans le deuxième quart du XIXe siècle, et dont l'état antérieur est perceptible par l'appareillage de briques en chevrons du côté nord. Appartenant vraisemblablement à la même campagne de travaux, les bandeaux moulurés en pierre, aujourd'hui bûchés, formaient les cordons de séparation de niveaux. Parmi les autres éléments architecturaux témoignant de l'état antérieur, des bandeaux moulurés horizontaux soulignaient autrefois les façades avant d'être bûchés lors des restaurations. Les chaînages d'angle, les encadrements de baies moulurées en anse de panier, ainsi que les archivoltes décoratives en arc en accolade sont en pierre de taille. Enfin, les entrées, au sud comme au nord, se distinguent par un encadrement de pierre sculptée qui, du côté rue, représente des animaux et des motifs floraux encadrant un écu.

L'ensemble est couvert d'un toit en ardoise, à longs pans et croupes, éclairé de lucarnes jacobines en menuiserie. Les tourelles d'angle sont coiffées de toitures polygonales en ardoise.

la distribution intérieure du rez-de-chaussée a été modifiée pour créer un vestibule imposant doté d'un escalier droit monumental. Cette transformation importante a obligé à l'obturation de deux fenêtres et décalé sans doute l'emplacement du grand salon, dont la cheminée en pierre, d'époque Henri IV, est manifestement le fruit d'un remontage.

Le château est complété à l'ouest (à gauche de la façade sur rue) d'un second corps de bâtiment qui devait correspondre à l'habitation de la ferme voisine qui en dépendait. L'édifice se distingue par sa construction en pierre de taille.

À l'étage, la galerie qui dessert les chambres à alcôves conserve un plafond à caissons armorié. Dans les combles, la charpente ancienne à croupe présente un rythme serré de fermes qui correspond aux poutres apparentes de l'étage inférieur.