Pada zaman pertengahan adalah ibu kota Annecy, Geneva County, dan berdiri di tengah-tengah Annecy, istana adalah kerusi Counts of Geneva. Istana ini dibina pada abad ke XII yang di atas tapak kubu, dibina empat abad lebih awal. Pada abad ke XIII ia menjadi kediaman ahli-ahli keluarga Count, kemudian berpindah ke Duke of Savoy.

Pada zaman pertengahan istana beberapa kali dimusnahkan oleh kebakaran, tetapi setiap kali dikurangkan, lebih dan lebih mengukuhkan pembelaannya. Walau bagaimanapun, walaupun ketebalan dinding, melihat mengancam dan lokasi utama di atas bukit, pada separuh pertama abad XVII, istana itu telah diambil oleh tentera Perancis. Pada abad XVII, rumah-rumah istana berek dan gudang, satu masa beliau juga berkhidmat sebagai tempat perlindungan bagi yang tiada tempat tinggal. Hanya dalam pertengahan abad XX ini, bangunan ini telah diisytiharkan sebagai monumen sejarah, dan kini ia menempatkan sebuah muzium di mana anda boleh melihat karya-karya seni dan objek dari era yang berbeza.

Salah satu penduduk terkenal istana adalah Robert Geneva - beranak di sini di 1342, anak Count Amadeus III. Robert Geneva ini juga dikenali dengan nama anti-paus Clement VII - cantik militan dan kejam, digelar penjual daging dan pelaksana hukuman bagi kaedah beliau berurusan dengan pemberontak. Pada separuh kedua abad ke-XIV di dunia Katolik mempunyai dua bapa - salah rasmi dipilih Urban VI dan "pembangkang" kardinal kedua dipilih itu Clement VII, yang berharap untuk merampas kuasa dan menggulingkan Rome Urban VI. Setelah gagal, Antipope Clement menetap di Avignon, yang pernah menempatkan kediaman paus.

Selepas kematian Clement VII pada tahun 1394 ia telah digabungkan dengan Annecy dan Savoy kehilangan statusnya sebagai ibu kota daerah, dan daerah Geneva, juga, telah hilang. Oleh kerana Duke of Savoy istana mendapat menara yang paling indah Perrer.

Hari ini istana ini dikelilingi oleh taman-taman awam yang cantik dan tarikan bersejarah yang lain. Dengan dinding yang dilihat di bandar dan Tasik Annecy.