Alba a d'abord été un site gaulois appelé Alb puis une une ville romaine appelé Alba Helvorium, capitale de la province d'Helvie. Sous la paix romaine, du Ier au IIIème siècle, la ville alors en pleine prospérité s'étendait dans la plaine au Nord de la rivière de l'Escoutay. Au IIIème / IVème siècle, l'insécurité consécutive aux invasions barbares contribue à accélerer la ruine de la cité ; l'évêque, qui siègeait jusqu'ici à Alba, s'installe à Viviers, la population commence alors à se regrouper autour du site devant devenir par la suite l'emplacement du futur château.
Différentes seigneuries se sont succédées, participant chacune à l'évolution du château :
La famille d'Aps : on ne sait que peu de choses de cette famille qui possédait cependant la seigneurie d'Aps depuis le XIème siècle. Un hommage de l'un de ses membres à Arnaud de Vogüe nous apprend qu'en 1250 Aps était une baronnie.
La famille des Deux-Chiens : elle règne à partir du milieu du XIIIème siècle. Leur nom s'explique par les deux chiens que l'évêque de Viviers leur offrit en retour d'un hommage. En 1267, Pons II de Deux-Chiens se rallie à la couronne de France. En 1281, il accorde une charte aux habitants d'Aps. Ce dernier mourant sans héritier mâle, le château revient à Giraud Adhémar, ayant épousé sa nièce Blonde de Deux-Chiens en 1272.
La famille d'Adhémar : elle règne de 1290 à 1568. Le château était à cette époque un donjon carré sur le dyke volcanique. Les Adhémar continuent l'oeuvre entreprise par les Deux-Chiens. Mais à la mort de Louis Adhémar en 1568, la prestigieuse famille s'éteint.
La famille de la Beaume de Suze : elle règne de 1612 à 1668. La baronnie d'Aps revient à Georges de la Beaume de Suze après 40 ans d'âpres rivalités entre familles revendiquant leurs droits sur ces terres. C'est à la famille de la Beaume de Suze que l'on doit l'aspect actuel du château. En 1668, Louis François de la Beaume de Suze vend la seigneurie d'Aps à la famille de Montagut.
La famille de Montagut : elle règne de 1668 à 1793. Cette grande famille à ascendance royale (mariage de Timéléon de Montagut et de Laure Anee Fitz James en 1732) vit à Versailles et ne se préoccupe guère des affaires du château d'Aps.
En Ardèche, des mouvements de jacqueries précèdent de 10 ans la Révolution française. (Ainsi en 1779, les habitants d'Aps refusent de s'acquitter de certaines redevances. Pourtant condamnés à payer, ils s'insurgent et pillent le château, brûlent livres et documents. Le mobilier, quant à lui, est vendu aux enchères. Le 10 août 1785, deux cents personnes envahissent à nouveau le château, le saccagent, et maltraitent le juge seigneurial. Le procureur fiscal tentant d'échapper à la foule, perd la vie en voulant sauter par une fenêtre.) En 1789, le château fut de nouveau pris d'assaut et toutes les archives restantes furent brûlées sur la place publique. Finalement entre 1792 et 1793, le château, confisqué, fut divisé en sept lots et vendus aux enchères.
Il faut attendre 1880 pour qu'un enfant du pays, le docteur Gaillard, entreprenne la restauration du château. En 1896, la tour primitive septentrionale, en mauvais état, est démontée.
Après la mort du docteur Gaillard survenue en 1904, plusieurs propriétaires se succèdent jusqu'en 1974, date à laquelle le docteur Magdeleine Frimat prend en charge d'importants travaux de restauration (toitures, intérieurs...). Elle ouvre alors le château au public, organise des expositions tous les étés et accueille spectacles et séminaires. Aujourd'hui ses enfants perpétuent son oeuvre.
La restauration est menée avec l'aide des Monuments Historiques, le château étant inscrit à l'Inventaire Supplémentaire depuis 1939.
