La ferme occupe l'emplacement de l’ancien château seigneurial de Caours édifié par la famille Le Ver, seigneurs du lieu entre le XVe et le XVIIIe siècle. En 1416, le domaine est composé d’un "manoir, accompagné de gardin et de vivier" (Seydoux, 2002). Il appartient alors à Thomas Le Ver. Ce château aurait été détruit au milieu du XVIIIe siècle, toujours par la famille Le Ver (Prarond, 1861), peut être "délaissée au profit de celui d’Oissy et de l’hôtel d’Abbeville" (Seydoux, 2002). Il ne reste aujourd’hui plus aucune trace archéologique de la demeure seigneuriale, mais les premiers plans du site, dressés en 1807 (plan par masse des cultures, AD Somme, 3 P 903) et 1820 (plan de cadastre napoléonien, AD Somme, 3 P 1310/3), font figurer la forme pentagonale très régulière du site, entouré de ce qui semble avoir été les anciennes douves. Cet aménagement particulier reflète l’organisation spatiale typique d’un château seigneurial du Moyen Âge, dont l'organisation rappelle celle du château de Mareuil (IA80011073) ou du château de Drugy à Saint-Riquier (IA80001216). Dans une logique d’adaptation, les douves ont été reconverties en vivier après avoir perdu leur fonction défensive, tandis que le site du château est devenu une ferme après sa destruction dans la seconde moitié du XVIIIe siècle.

Au début du XIXe siècle, la ferme et ses terres appartiennent à la famille Heuzé. Une grande partie du territoire communal au sud de la ferme fait partie du domaine de Caours (parcelles 81 à 111 du plan parcellaire de 1820). M. Heuzé possède ainsi des terres labourables, des prés, des plantations, des bois, des vergers, mais également des chemins, étangs, jardins et une pépinière. Il est également le propriétaire du moulin hydraulique à mouture de blé construit à l’ouest de la ferme (IA80011056).

Sur les plans du début du XIXe siècle, la ferme se compose d’une maison, de quatre bâtiments agricoles, d’une mare (ou abreuvoir?) relativement importante et d’un pigeonnier de plan circulaire, dessiné par Oswald Macqueron en 1864 d’après une esquisse de Gillard (Archives et bibliothèque patrimoniale d’Abbeville ; AB N032). Les bâtiments sont construits autour d’une grande cour pentagonale, entourée des anciennes douves, alimentées par le canal de la Riviérette. Ce cours d'eau rectiligne est une déviation du Scardon. Le nom du lieu-dit "Terres du Domaine" témoigne encore aujourd’hui de l’existence passée de la propriété seigneuriale.

Entre 1820 et 1840, la ferme, le moulin et les différentes parcelles du domaine de Caours deviennent la propriété du comte de Butler, également propriétaire et maire à Remaisnil, commune située à une trentaine de kilomètres de Caours. À cette époque, la ferme du château, représentée par Oswald Macqueron d’après des esquisses de Gillard en 1864 (ill.), est composée de différents édifices agricoles, soit en pans de bois et torchis (sur un soubassement en brique), soit en pierre de taille. L’un des bâtiments pourrait être une ancienne écurie transformée en grange. Les grandes et nombreuses ouvertures en plein cintre ont été presque entièrement comblées. Oswald Macqueron a également peint d’après nature en 1851 des "ruines à Caux [sic] dans la propriété de M. de Butler" (ill.), qui correspondent aux vestiges de deux grandes niches de style classique aménagées dans l’ancien mur du château. Ces dernières, construites en brique et calcaire, sont décorées par des pilastres surmontés de chapiteaux, une architrave en pierre et un fronton arrondi. La niche de gauche accueillait alors encore une statue féminine dont il manquait la tête. Le mur de clôture est construit entièrement en calcaire ou en maçonnerie de type "rouge barre". Les deux niches n’ont pas été conservées, mais le mur de clôture en maçonnerie rouge barre, situé au sud de la maison Géneau de Lamarlière (IA80011055) le long de la route menant à Neufmoulin, correspond vraisemblablement au dernier vestige de l’ancienne enceinte du domaine seigneurial.

En 1917, la ferme est acquise par la famille Géneau de Lamarlière, encore propriétaire à ce jour. L’exploitation agricole cultive essentiellement le blé, l’orge, le lin et la betterave. Elle est complétée par une petite activité d’élevage composée de quelques vaches laitières, de poules et de lapins. Pendant la Seconde Guerre mondiale, la ferme subit quelques dégâts, notamment le mur nord du bâtiment agricole situé au sud, qui est aujourd’hui totalement reconstruit. À la fin des années 1950, le pigeonnier qui se trouvait dans la cour est détruit (d'après le témoignage oral des propriétaires). C’est ensuite la maison d’habitation qui est démolie en 1964 pour être remplacée par une construction moderne. Le reste du site est également transformé dans les années 1960. La maison d’habitation est ainsi démolie en 1964 pour être remplacée par une construction moderne, ainsi que l’ancienne remise à chariots. Les cultures de la ferme ne changent pas pour autant, avec un cheptel de 30 vaches laitières, remplacées après 1968 par des charolaises élevées pour leur viande.

La ferme conserve aujourd’hui son ancienne implantation, mais les bâtiments ont été fortement modifiés, s’adaptant aux nouvelles pratiques agricoles et au confort moderne. L’écurie attenante à la maison a vraisemblablement été transformée pour devenir habitable. Également, en 1992, l’ancienne étable construite au sud, au bord de la Riviérette, est complètement réaménagée pour accueillir des chambres d’hôtes. L’ancienne étable à veaux est transformée en 2005 en salle de réception. L’ancienne voie d’accès à la ferme, qui suivait auparavant la cour de la Riviérette au nord, est décalée vers le sud dans les années 2000, nécessitant la construction d’un nouveau pont.