Deux seigneuries se partageaient la ville de Condé au Moyen Âge, la seigneurie "gagère" ou "du château" et la seigneurie "propriétaire", dite aussi "de Bailleul", qui releva des familles de Condé-Bailleul-Moriamez jusqu'en 1391 - nom sans lien avec la ville de Bailleul en Flandre, mais plutôt d'une étymologie commune avec celui du château de Belœil, en Hainaut belge -, puis de La Hamaide jusqu'en 1485, de Roghendorf en 1531, de Lallaing (ou Lalaing) à partir de 1559 (date à laquelle les deux seigneuries ont été réunies) et enfin de Croÿ à partir de 1608 et jusqu'à la Révolution.

Un premier château dépendant de cette seigneurie a probablement préexisté. Le corps de bâtiment médiéval encore en place, donnant en angle sur la place Verte, a été édifié pour Jean de la Hamaide (mort à Azincourt en 1415) dans les années qui précèdent la date de 1411 autrefois portée en façade avec les armes de cette famille sur un écu toujours visible mais dont les reliefs ont été bûchés. Cette résidence est qualifiée "d'hostel" dès la fin du XVe siècle (cité par le Rapport sur les antiquités..., p. 39, note 17). En 1544, Christophe de Roghendorf crée une orangerie et des jardins qui s'étendent jusqu'au rempart médiéval, mais dont l'organisation n'est pas connue. Cependant, le plan cavalier aquarellé de la ville dressé par le géographe Jacques de Deventer vers 1550 (édité en 1911 dans l'Atlas des villes de Belgique au XVIe siècle) semble indiquer la présence de bâtiments conséquents en cœur de parcelle : faut-il y lire la survivance d'une ensemble castral plus ancien ? De même, l'une des gouaches réalisées par Adrien de Montigny entre 1595 et 1610 pour Charles duc de Croÿ (publiées dans les Albums de Croÿ en 1986-87) et présentant des vues cavalières de la ville, paraît indiquer la présence d'une haute tour à l'arrière de l'hôtel aisément reconnaissable - à moins qu'il ne s'agisse là d'une tour d'enceinte figurée de façon hypertrophiée. Par ailleurs, c'est dans le courant du XVIe siècle que sont édifiées l'aile de la rue de la Bibliothèque puis celle de la rue de la Cavalerie (DAUVERGNE), qui poursuivent le corps de bâtiment médiéval.

Dans les années 1640, le couple Jeanne de Lallaing - Jean de Croÿ fait modifier l'aile de la rue de la Cavalerie, dont la façade arrière porte les armoiries des Lallaing et la date de 1643. Dans cette aile, les plafonds conservés attestent une datation de la 2e moitié du XVIIe siècle et un grand escalier (dit "escalier de Louis XIV" en souvenir du séjour du roi en 1691) y est construit à la fin du siècle. La famille de Croÿ fait aussi construire les trois ailes intérieures en retour, délimitant ainsi trois cours ; l'aile en retour nord-est disparaît des plans entre 1727 (plan de Claude Masse) et 1754 (Plan des rues qui composent la ville de Condé).

Au XVIIIe siècle, le château est régulièrement habité par la famille de Croÿ ; Emmanuel de Croÿ (1718-1784), futur duc et maréchal, y nait. Le décès de sa femme, Angélique-Adélaide d'Harcourt (1719-1744), donne lieu en 1745 à un inventaire qui énumère les parties constituantes du château, en donne la distribution intérieure et détaille l'ameublement (commenté par DAUVERGNE) ; une grande partie de celui-ci est ensuite déménagé vers le château de l'Hermitage.

L'édifice abrite alors plusieurs appartements, les archives de la famille, des cabinets de curiosités ; la bibliothèque est conséquente, l'aile qui l'abrite fait l'objet d'un agrandissement de six pieds aux dépends de la rue adjacente, à laquelle elle donne son nom en 1784 (DION). Les appartements princiers se situent dans l'aile de la rue de la Cavalerie, "l'appartement du Roy" cité dans l'inventaire de 1745 s'étendait probablement au 1er étage du corps de logis médiéval. En 1748-49, des "réparations" (cité par DAUVERGNE) sont dirigées par l'ingénieur militaire Louis Franquet, ingénieur en chef de la place de Condé : s'agit-il des percements de la façade et du rehaussement du comble du corps de bâtiment médiéval, et de la reprise des ailes, modifications dont le style atteste le XVIIIe siècle ? Est-ce alors que les tourelles reçoivent un niveau supplémentaire et que disparaissent les mâchicoulis dont l'existence est supposée par l'historien de la fortification Nicolas Faucherre (communication orale) ?

Le jardin, dont le dessin figure sur le Plan des rues qui composent la ville de Condé en 1754, est adjoint d'une orangerie et d'une pépinière ; on y pénètre depuis le passage traversant le château médiéval, qui donne accès à la cour d'honneur séparée du jardin par une clôture de plan cintré. Les communs se répartissent autour des cours occidentales. Une brasserie est mentionnée.

Déclaré Bien national en 1793, le château est acheté le 24 Vendémiaire an V (15 octobre 1796) par le sr. de Saint-Moulin. Le mobilier est placé sous séquestre en 1793 et les manuscrits, les objets précieux, tableaux, estampes, rapidement envoyés à Valenciennes, où ils sont rejoints par le contenu de la bibliothèque en 1796.

En 1829 une ordonnance royale autorise la ville à acquérir "divers bâtiments avec dépendances pour servir à l'élargissement de la rue de la Bibliothèque". L'aile longeant cette rue est alors diminuée en épaisseur, mais le sr. Mention, propriétaire du château depuis 1827, conserve la propriété et l'accès des caves situées sous la partie démolie. Un plan de 1841 montre l'organisation du jardin. Deux actes de vente en date du 14 septembre 1883 entérinent la cession à la ville par le sr. Mention et Mme Lefebvre, sa fille, du château, de ses dépendances et des terrains qui, précisait le procès-verbal de la séance du Conseil municipal du 28 décembre 1882, "représentent en superficie la neuvième partie de la ville". L'année suivante, le rapport de M. Cavel, rapporteur de la commission des travaux, sur la "modification de l'alignement de la rue de la Cavalerie" signale "le souvenir historique" de l'édifice et "son cachet monumental incontestable" pour préconiser sa conservation. Les terrains libres derrière le château, correspondant à l'emprise du jardin, sont cédés, pour partie à l'administration des hospices dès 1884 afin de permettre la construction d'un hospice, et pour l'autre partie à des particuliers, par vente aux enchères, de 1884 à 1903. L'ensemble de la cession donne lieu à l'établissement d'un plan concerté de percement de rues (rues Faidherbe et du Maréchal-de-Croÿ) et de lotissement. Les anciens communs (écuries ?) qui constituaient la deuxième moitié, vers le sud-ouest, de l'aile de la rue de la Cavalerie, actuellement n° 27 à 33, ont été cédés et transformés dès 1884. Les bâtiments qui délimitaient le fond de la grande cour de service disparaissent rapidement.

Le musée et la bibliothèque de la ville (fondée en 1874) sont installés vers 1890 dans le corps de bâtiment médiéval qui est classé au titre des Monuments historiques en 1904 ; mais les ailes, dont la qualité patrimoniale est moins reconnue, ne sont inscrites qu'en 1987 (arrêté rectificatif en 1988). Les anciens communs (n° 27 à 33 rue de la Cavalerie) ne sont pas concernés par la protection au titre des Monuments historiques. Ces ailes, actuellement identifiées par les n° 35-37 rue de la Cavalerie donnés en location par la ville dès la fin du XIXe siècle, et 1-3 rue de la Bibliothèque, ont nécessité leur appropriation pour l'habitation. L'architecte Edmond Lemaire est chargé du chantier. Il propose en 1906-08 un aménagement intérieur, un percement et habillage complet de la façade sur la rue de la Bibliothèque restée nue et quasiment aveugle depuis le reculement de 1829. Puis, en 1911-12, il procéde à une division de l'aile rue de la Cavalerie en deux logements de rapport, en en distrayant l'escalier dit "de Louis XIV" pour la desserte du musée - le cloisonnement de ces logements présente par ailleurs quelques différences avec celui indiqué par le projet de l'architecte. C'est peut-être lors de ces travaux que disparaissent les pas-de-moineaux qui sommaient le pignon séparant les n°35-37 des anciens communs.

La façade de l'immeuble n° 35-37 rue de la Cavalerie a été revêtue de briquettes de parement, vers 1960 ; il a été vendu en 1988 à l'office des HLM de Valenciennes (actuellement Val Hainaut Habitat). La cession du 1-3 rue de la Bibliothèque à un propriétaire privé est intervenue en 1995.

Des restitutions d'une partie des percements "d'origine" des tourelles du corps de bâtiment médiéval ont été tentées par Etienne Poncelet, architecte en chef des Monuments historiques, en 1987-88.

Le musée semble avoir été fermé au public dès les années d'entre-deux-guerres ; les collections y ont été conservées jusqu'à leur transfert dans l'hôtel de ville vers 1970 (quelques œuvres sont cependant encore en place dans le château). La bibliothèque municipale a quitté le château vers 1990. Actuellement (2008), l'édifice est sans affectation sinon l'utilisation des salles du 1er étage par l'association Archéolocale. Les couvertures sont en mauvais état, des étais renforcent l'escalier et l'une des salles du 1er étage.