El castillo, uno de los más imponentes de Suiza, preside majestuosamente la pequeña ciudad medieval. Diecinueve condes residieron en él entre los siglos XI y XVI. Miguel, el último conde de Gruyères, tuvo problemas financieros, que le llevaron a declararse en bancarrota en 1554. Los acreedores, las ciudades de Friburgo im üechtland y Berna, se repartieron entre sí sus tierras.
El castillo de Gruyères se convirtió en sede de los corregidores de Friburgo (1555-1798), de los prefectos (1804-1815) y, finalmente, de los jefes de distrito, que residieron aquí hasta 1848. Puesto a la venta, pasó a ser propiedad de la familia Bovy y, más tarde, de la familia Balland, quienes lo utilizaron como residencia veraniega y, junto con sus amigos artistas, lo restauraron. En 1938, el Estado de Friburgo readquiere el Castillo para fundar en él un museo. Desde 1993, una Fundación se encarga de la gerencia del lugar y se ocupa de la conservación y de la puesta en valor de los edificios y de la colección.