Le premier château et son enceinte sont bâtis en 1150 par Beaudoin IV (1108-1171), comte de Hainaut. Le castrum, qui bénéficie d’une basse-cour et d’une enceinte indépendante mais pas d'un donjon, est bâti au sud de l’agglomération. C'est un vaste polygone d'une vingtaine de côtés, aux angles flanqués de petits contreforts plats et entouré de fossés. Le logis principal se trouve au sud. À son extrémité côté est prenait place une chapelle à deux niveaux et chevet plat. De la période romane (peut-être) subsistent deux étages de caves renforcées au XVIIe siècle. Une grosse tour en grès était située à l'entrée du château (Lebeau et Michaux, Recueil des notices de l'arrondissement d'Avesnes, 1859, cité par Gennevois, 1832). Augmentée d'un belvédère de forme octogonale en 1569, elle est détruite par un ouragan vers 1768 et ne sera pas relevée.

De sa construction jusqu'à la fin du XVe siècle, le château devient l'une des résidences principales des comtes de Hainaut. C'est d'ailleurs de ce qui lui a donné son nom de château Marguerite de Bourgogne (1374-1441). Cette fille du duc de Bourgogne Philippe II dit le Hardi, et de Marguerite de Flandre, devenue comtesse de Hainaut par son mariage à Cambrai en 1385 avec Guillaume, comte d'Ostrevent, vécut toute sa vie adulte au Quesnoy où elle mourut en 1441. Afin de satisfaire aux exigences de confort d'une demeure comtale, le château est donc régulièrement entretenu et agrandi : modernisation du logis par Jeanne de Constantinople (1206-1244) en 1236, puis par Philippe III de Bourgogne, dit Philippe le Bon (1396-1467) en 1445, ajout en 1460 d'un mur de refend dans les souterrains pour les vins de la comtesse Marie de Bourgogne (1477-1482) (Liardet, 2014).

À partir de 1533, afin de satisfaire à la demande de Charles Quint (1500-1558), les fortifications sont adaptées aux nouvelles armes d’artillerie. En conséquence, l’enceinte médiévale est intégrée dans les nouveaux aménagements et le château, désormais séparé de son parc, est englobé avec sa basse-cour dans l’enceinte urbaine. Il fait partie du système défensif de la ville et sert d’habitation au gouverneur militaire de la cité. C'est ainsi qu'il apparait sur le plan dressé par Deventer en 1545 (ill.) : des bâtiments jointifs, dont la chapelle, sont regroupés autour d'une cour circulaire et séparés de la ville par un fossé en eau interrompu au nord par les fortifications urbaines.

Il faut attendre le XVIIe siècle et l'intervention de Libéral Bruant (1631-1697), architecte ordinaire du roi, pour que le château soit de nouveau modifié : une nouvelle aile est construite côté est entre 1681 et 1684, ainsi qu'une cuisine. Les travaux sont confiés à Armand François, entrepreneur au Quesnoy et mayeur de la ville, pour la somme de 3600 livres (Liardet, 2014). La nouvelle aile d'un seul niveau est en brique et grès, couverte par une toiture à longs pans et croupes en ardoise. Elle est percée de 18 hautes fenêtres. Un niveau de caves peu enterrées relie la nouvelle aile à l'ancienne. Durant la seconde moitié du XVIIIe siècle, le pavillon Cernay (partie ouest de la caserne) est reconstruit sur les caves médiévales.

Sur le plan de la ville dressé en 1769 (BNF-Gallica), le château apparait avec les numéros 73 pour l'actuelle caserne Cernay (appelée caserne du Gouvernement), 85 pour la tour de l'écritoire, 84 pour la prison détruite (détruites toutes les deux en détruite en 1807) et 87 pour la salle des gardes (appelée salle d'armes) située au-dessus de la porte d'accès au château (ill.).

Au cours de la période révolutionnaire les dépendances brûlent, mais les habitants parviennent à sauver le château de l'incendie (Liardet, 2014). La toiture est refaite en 1798. Le bâtiment est donné à la ville par l'Armée en 1811, puis racheté à la ville par l'Armée en 1820 pour la somme de 10 000 francs. Les bâtiments sont transformés en caserne pour accueillir 140 hommes. Le Mémoire sur la place du Quesnoy, établi en 1846 (AD Nord, 66J1725) décrit comme suit la caserne 73 (numéro porté par la caserne sur les plans des ingénieurs militaires à partir du début du XVIIIe siècle) : "Cette caserne est composée de plusieurs corps de bâtiments désignés par les lettres A, B, C et D. On ignore l'époque de la construction. Le bâtiment A est le seul qui maintenant sert de logement pour la troupe, il contient 121 lits. Le pavillon B a été affecté en 1838 au chef du génie. Le bâtiment C servait à loger le petit état-major et ne sert aujourd'hui que pour l'enseignement mutuel. Il est question d'en faire un logement pour le commandant de place. Le bâtiment D renferme une forge et la cuisine du bâtiment A."

Après 1872, un mess est installé dans le pavillon et le bâtiment Cernay (aile édifiée par Libéral Bruant) abrite une infirmerie, et des magasins pour le Génie. Ces fonctions durent jusqu'à la fin de la Première Guerre mondiale, mais n'ont pas de répercussions sur l'architecture des bâtiments. Ce n'est pas le cas de l'arrivée en 1928 de la garde républicaine mobile (organe militaire créé en 1926) qui occasionne d'importants travaux : les dépendances sont démolies et remplacées par une dalle béton pour unifier l'entresol des deux parties du bâtiment, et pouvoir y installer des bureaux ; de même toutes les fenêtres sont recoupées (Liardet, 2014). À partir de cette date, l'immeuble ne cessera plus d'accueillir des bureaux.

Il redevient propriété de la commune en 1968. Cette dernière travaille actuellement (2024) avec un promoteur privé (Histoire & patrimoine) afin de le transformer en appartements. Le projet prévoit de conserver les caves pour les ouvrir à la visite, et de recréer un parc autour du château.