La seigneurie de Clarques appartient au Moyen Âge à la famille éponyme (Nicolas, seigneur de Clarques en 1210) (WAUTERS, 1866-1904) puis aux Constant (seigneurs de Rebecque). Elle entre en 1468 dans la maison de Croÿ-Rœulx à l’occasion du mariage de Jeanne de Crésecque avec Jean de Croÿ, fils cadet d’Antoine, seigneur de Renty, premier chambellan de Philippe le Bon, duc de Bourgogne. En 1553, lors du siège et de la destruction de Thérouanne par les troupes de Charles Quint, le château de Clarques sert de refuge à ses malheureux habitants. Une motte entourée de fossés indique encore aujourd’hui l’emplacement de cet ancien château disparu.

Mis en vente à la fin du XVIIe siècle, le "vieux chasteau" converti en exploitation agricole et ses terres (vingt mesures de jardins et pâtures, treize mesures de bois, 147 mesures de labour) sont adjugés en 1699 pour 45 000 livres à Pierre Soinne. L'acquéreur est un riche laboureur de Saint-Martin-au-Laërt (aujourd'hui Saint-Martin-lez-Tatinghem, à une vingtaine de kilomètres de Clarques) où il exploite l’opulente ferme du château de Scadembourg et où il se retire bientôt définitivement pour vivre de son bien, confiant la ferme de Clarques à son neveu Jean-Antoine Soinne. Clarques est finalement vendu en 1759 pour 72 000 livres à la châtelaine de la Tour Blanche à Saint-Martin-au-Laërt, Isabelle-Dorothée Enlart (1718-1779), veuve de Jérôme-François-Joseph Titelouze (1715-1758), seigneur de Balinghem et de Gournay, maître particulier des Eaux et Forêts de Saint-Omer et échevin de cette ville. La famille Titelouze, bourgeoise, bien établie à Saint-Omer depuis au moins la fin du XVe siècle, est anoblie au XVIIIe siècle par charge de secrétaire du roi. L’organiste et compositeur Jehan Titelouze (Saint-Omer, v.1563-Rouen, 1633), fondateur de l’école française d’orgue, en est le membre le plus éminent.   

L'aîné des enfants Titelouze, Omer-François-Joseph (1745-?), seigneur de Gournay (à Verchocq), partage son temps entre le château de la Tour-Blanche et Saint-Omer. C'est le cadet, Augustin-Cyprien-Joseph-Ignace (1752-?), seigneur de Balinghem (à Nortkerque), mousquetaire du roi, qui hérite de la terre de Clarques et fait construire l'actuel château au début du règne de Louis XVI. Le chantier est confié à la fin de l'année 1780 à l'entrepreneur Jean-François-Joseph Mayo qui passe marché à cette fin avec Gilles Laridan, tireur de pierres blanches à Nielles-lès-Thérouanne. Mayo édifie une importante maison de campagne, en pierre de taille et brique rouge, encadrée de deux ailes basses de service. Le corps de logis, à deux niveaux et sept travées de façade, est double en profondeur et est couvert d’un ample comble d’ardoises à forte pente. Les trois travées centrales forment avant-corps et sont réunies chacune sous un fronton orné d’attributs : chasse et pêche côté cour, travaux des champs côté parc. Le château comprenait alors quatre caves, quatre pièces au rez-de-chaussée et sept pièces à l'étage.

À la chute de la monarchie, Augustin Titelouze part en émigration, ce qui entraîne la saisie de ses biens. À son retour, il parvient à rentrer en possession de son château qu'il fait remettre en état. Clarques se transmet ensuite pendant tout le XIXe siècle dans la famille Titelouze de Gournay. Quand le château revient à Joseph (1877-1945), ce dernier engage en 1906 - soit l'année qui suit son mariage avec Brigitte Clouet des Pesruches (1884-1909) - une campagne de travaux d'importance dans un style néoclassique et parisien. L'architecte lillois Paul Vilain (1860-1933) élève bientôt deux grandes ailes en saillie sur le parc venant flanquer l’ancien château avec un retour très marqué sur la façade opposée afin de déterminer une cour d’honneur en U devant laquelle s’ouvre un grand hall. Ces ailes sont des constructions en pierre et brique de couleur ivoire couvertes de terrasses, bordées de balustrades en ciment pierre dissimulant un toit de tuiles à faible pente. Elles sont conçues pour abriter à la fois des appartements, des logements de service et de vastes remises. Le chantier s'arrête suite au décès brutal, à l'âge de vingt-cinq ans, de madame de Gournay. La décoration est donc demeurée inachevée. 

Saccagé en 1940 par les troupes et les réfugiés, occupé ensuite pendant quatre ans et endommagé par des bombardements, Clarques est remis en état par Joseph de Gournay puis par sa fille unique, Berthe (1907-1968) qui confient les travaux à l'architecte audomarois Joseph Philippe (1902-2000), châtelain voisin de Tilques. Cependant l'extrémité nord de l'aile ouest, détruite pendant le second conflit mondial, n'est pas reconstruite.

Le château de Clarques est acquis dans le dernier quart du XXe siècle par M. René Delahaye qui y entreprend courageusement une importante restauration à la suite des deux fils de Berthe Titelouze de Gournay. Il est aujourd’hui divisé en plusieurs logements locatifs.