Mencionado pela primeira vez nos arquivos em 1244, o castelo foi a residência principal de uma das famílias nobres mais importantes do oeste da Suíça na Idade Média: os Condes de Gruyère. Construído no século XIII, o castelo segue o plano arquitetônico “Savoyard square”, um modelo militar desenvolvido pela Casa de Savoy, da qual os Condes eram vassalos. O edifício era protegido por um recinto quase quadrado, ladeado por uma torre de menagem, uma torre e torres de vigia nos cantos.
Grandes obras iniciadas no século XV pelo Conde Luís transformaram o castelo fortificado em uma casa senhorial. Elegantes galerias de pedra com grandes janelas substituíram algumas das galerias de madeira, uma torre com escadaria foi acrescentada ao edifício principal e uma capela foi construída em uma antiga torre defensiva.
Por quase cinco séculos, os condes governaram um grande território a partir de Gruyères, compreendendo castelanias em ambos os lados do Sarine, bem como senhorios (Palézieux, Oron e Aubonne). Alguns dos condes também se destacaram nos campos de batalha durante a Guerra dos Cem Anos ou ao lado dos Confederados durante as Guerras da Borgonha. A dinastia se extinguiu com Michel, que, atormentado por problemas financeiros, foi à falência e viu suas propriedades serem confiscadas em 1554 por seus principais credores, Berna e Friburgo.
Após a falência do Conde Michel, Berna e Friburgo compartilharam os territórios do antigo condado. Friburgo tomou posse do que hoje é Gruyère e instalou seus representantes, os oficiais de justiça, no castelo. Eles eram responsáveis por administrar a região, fazer justiça, gerenciar as finanças e as propriedades e cobrar impostos.
Entre 1555 e 1798, mais de cinquenta oficiais de justiça das principais famílias de Friburgo se sucederam em Gruyères. Durante sua administração, Suas Excelências de Friburgo continuaram a expandir as pastagens alpinas e aumentaram a produção de queijo e as exportações para mercados estrangeiros. As rodas de queijo Gruyère podiam suportar o transporte de longa distância e, por isso, eram enviadas de Vevey para Lyon, na França.
Os oficiais de justiça e seus sucessores, os prefeitos, ocuparam a fortaleza até 1848, quando a prefeitura do novo distrito de Gruyère foi estabelecida em Bulle. O castelo, considerado um símbolo do antigo do lugar e muito caro para ser mantido, foi colocado à venda e adquirido por uma família de Genebra.
