У Середні століття Ансі був столичним містом Женевського графства, а підноситься в центрі Ансі замок був резиденцією женевських графів. Замок був побудований в XII столітті на місці фортеці, зведеної чотирма століттями раніше. У XIII столітті він став місцем проживання членів графської прізвища, пізніше перейшов до герцогам Савойським.

У Середні століття замок кілька разів знищувався пожежами, але його щоразу відновлювали, все більше зміцнюючи його оборону. Однак незважаючи на товщину стін, грізний вигляд і вигідне розташування на вершині пагорба, у першій половині XVII століття замок був узятий французькою армією. У XVII столітті в замку розміщувалися казарми і склад, один час він навіть служив притулком для бездомних. Тільки в середині XX століття будівлі був привласнений статус історичної пам'ятки, і сьогодні в ньому розміщений музей, в якому можна побачити витвори мистецтва і предмети різних епох.

Одним з відомих мешканців замку був Роберт Женевський - народив тут в 1342 році син графа Амадея III. Роберт Женевський також відомий за ім'ям антипапы Климента VII – досить войовничого і жорстокого, прозваного м'ясником і катом за свої методи роботи з бунтівниками. У другій половині XIV століття в католицькому світі було два тата – один офіційно обраний Урбан VI і другий, обраний кардинальської «опозицією» Климент VII, який сподівався взяти Рим силою і повалити Урбана VI. Зазнавши невдачі, антипапа Климент влаштувався в Авіньйоні, в якому колись розміщувалася папська резиденція.

Після смерті Климента VII в 1394 році Ансі було об'єднано з Савойєю і втратило статус столиці графства, так і самого Женевського графства теж не стало. Завдяки герцогам Савойським замок придбав свою найкрасивішу вежу Перрьер.

Сьогодні замок оточений красивими скверами та іншими історичними пам'ятками. З його стін видно сам місто і озеро Ансі.