Les évêques d'Amiens acquièrent la seigneurie de Pernois au milieu du 12e siècle. Thibault II d'Heilly est, semble-t-il, le premier prélat à y séjourner vers 1175, et à s'installer dans les bâtiments du prieuré Saint-Martin, qui est dissout mais garde sa mission de service paroissial. Jean de Cherchemont y fonde en 1339 une chapelle sous le vocable de saint Nicolas, dotée d'une chapellenie en faveur du chapelain Jean "de Pomerio". L'année suivante, il fait transférer l'église paroissiale ainsi que le presbytère hors de l'enceinte épiscopale, à leur emplacement actuel. Gaufridus de Victa est le premier titulaire de cette nouvelle cure.

Le manoir aurait été complètement restauré, voire reconstruit, par Antoine de Créquy, évêque d'Amiens de 1564 à 1574 et seigneur de la terre voisine de Canaples. Des poutres sculptées et peintes aux armes de François de Halluin, évêque de 1503 à 1538, encore mentionnées au milieu du 19e siècle, auraient été déplacées peu après dans une maison du village d'où elles ont été enlevées ultérieurement. Probablement délaissé durant les deux siècles suivants, le domaine présente son extension maximale sur l'atlas terrier du dernier quart du 18e siècle (section n° 1), où il représente une superficie de 22 journaux et 55 verges et demie (soit environ 14 hectares et demi). Il comprend « N° 1. La Maison Seigneuriale compris le Parterre, le Bosquet, la Plan fruitier et les terres en Labour, consistante vingt deux journaux cinquante cinq verges et demie, tenante d'un C. au chemin de Pernoy à Canaples, d'autre au Domaine dit les Près l'Évêque, d'un C. à la Rue au dessous du Château, et à la Rue du Pont, d'autre aux terres au champ» (Atlas terrier de Pernois - AD Somme ; 3G 79-80).

Le domaine épiscopal proprement dit est complété au sud par un domaine agricole dit des Prés-l'Évêque (section n° 2), d'une superficie de 12 journaux et 55 verges (soit environ 11 hectares). Comme la ferme de Bélettre et son enclos, autres possessions épiscopales, ce domaine est mis en fermage. Une partie, appelée le Prés rond, est ainsi baillée à ferme pour neuf ans à partir de 1764 à Quentin Balledens, cité comme fermier de l'évêque.

Le manoir tombe en ruines lorsqu'il abrite les réunions pour la rédaction du cahier de doléances en 1789, avant d'être saisi comme bien national l'année suivante.

Acquis par la commune en 1796, il est immédiatement revendu à un particulier. Une grande partie des pierres aurait été réutilisée par les habitants du village. La partie sud du corps de logis, flanquée de tourelles a subsisté jusqu'au milieu du 19e siècle, comme le montre la gravure de Blanchard ainsi que le plan cadastral de 1832, sur lequel figure la mention : "lieu où fut un château".

Ces vestiges ainsi que la partie sud de l'ancien domaine (parcelles B 542 à 548) appartient alors au cultivateur Hyacinthe Froidure, l'ancien jardin (B 549) et la partie du verger qui le jouxte au nord (B 558) au cultivateur et maire de Pernois Hyacinthe Balledens, et enfin l'ancienne cour (B 550) à Jean-Baptiste Breilly, tisserand.

Les anciens bâtiments d'exploitation et la basse-cour au nord ont été partagés en deux propriétés, formées de bâtiments, jardins et vergers : la première à l'ouest à Modeste Breilly, tisserand (B 551 à 554) et la seconde à l'est à Victor Breilly, tisserand (B 555 à 557). Tout au partie de la ferme de Modeste Breilly est reconstruite en 1855. Elle appartient après la Première Guerre mondiale à Théophile Breilly, ménager, à Anatole Cadet-Hirondart, qui la fait reconstruire en 1936, puis en 1938 à Alzire Cadet-Breilly, cutivateur. La seconde exploitation appartient en 1912 à Jean-Baptiste Breilly et consorts ; une partie au moins des bâtiments est en ruines en 1913, une maison et un atelier sont détruits en 1921 et une maison est convertie en bâtiment rural en 1929. L'ensemble a fini de disparaître peu après, tout comme le portail de l'ancien corps d'entrée qui lui servait d'accès.

Le domaine épiscopal était situé sur une éminence à l'extrémité nord-est du village, et délimité par la rue d'En-Haut et la rue de Pont-l'Évêque, dont l'intersection était déjà marquée par une croix. D'après les témoignages figurés anciens, notamment l'atlas terrier du dernier quart du 18e siècle, l'ensemble de la maison seigneuriale était précédé par une basse-cour entourée de communs ou de bâtiments d'exploitation, et sur laquelle ouvrait au nord le corps d'entrée. Le logis, élevé dans un enclos, épousait un plan en T. Le corps de logis principal, bordé à l'est par un jardin régulier clos (le parterre), était flanqué sur le côté sud d'une tourelle circulaire et d'une tourelle polygonale engagée, et sur le côté nord par la chapelle épiscopale. Au-delà du jardin se déployait un couvert de jardin agrémenté d'allées (le bosquet), bordé au nord par un grand verger (le plan fruitier). Un des bâtiments d'exploitation qui encadrent le portail d'entrée de la ferme moderne au nord, construit en pierre de taille, est probablement un vestige de la basse-cour d'Ancien Régime.