Палац Єпископа побудований на місці більш давніх античних споруд - у фундаменті фортеці виявили сліди римських будівель. Найстаріша частина знаходиться під кріпосної вежею – так званий рятівний коридор і примикає до нього приміщення з хрестовим склепінням. Прибудована в 1481-86 рр. впритул до східному куті вежі готична двоповерхова каплиця є рідкісним зразком кріпаків каплиць.

Після мохачского поразки в 1526 фортеця потрапила у розпорядження військових. Із-за постійної загрози з боку турків її посилено зміцнювали. Найбільші роботи такого роду виконані за планами італійця Пиэтро Феррабоско. Незважаючи на це, 29 вересня 1594 р. фортеця була захоплена турками. Через чотири роки, 28 березня 1598 р. вона була повернута, але єпископи змогли повернутися в неї набагато пізніше, тільки в середині 18 століття. Єпископ Френц Зічі (1743-1783) провів відновлювальні роботи і надав будівлі сучасну форму. Останні реконструкції у фортеці закінчилися в 1984 році. В процесі відновлення на стінах з'явилися фрагменти фасаду вежі, який реставрували. У 2004 році відкрилася постійна виставка, присвячена єпископу Вильмошу Апору, застреленному в підвалі фортеці радянськими солдатами в 1945-му. Виставка розповідає про його життя, діяльність і мученицької смерті. Поряд зі сторінками його щоденника, тут представлені речі та документи, виставка оформлена музичним супроводом і світловими ефектами.