Ілжа розташований в 120 км на південь від Варшави. Тут колись знаходився один із найефектніших середньовічних замків Польщі. До теперішнього часу найкраще збереглася готична оборонна башта замку.

Будівництво кам'яного замку почалося в 1328 році краківським єпископом Яном Гротом після руйнівної навали татар. Будівництво було завершено в 1347 році, після чого на замок обрушилося перше випробування – тут ховався єпископ від короля Казимира Великого. Королівські війська не змогли захопити замок.

У п'ятнадцятому столітті замкові будівлі були значно розширені. Були побудовані оборонні стіни по периметру будівлі, з'явився розвідний міст і прямокутна оборонна вежа. Уздовж замкових стін були зведені господарські будівлі. Після проведених укріплювальних робіт, замок став одним з найсильніших подібних споруд в регіоні. В 1588 році стався страшний пожежа, яка знищила замок. У першій половині сімнадцятого століття замок був відреставрований, східні ворота укріплені. В 1607 році тут на кілька днів зупинявся король Сигізмунд III Ваза. У 1655 році фортеця була знову спалена шведами. Реконструкцію навіть не встигли толком почати, як у 1657 році замок постраждав від солдатів угорського князя Георгія Ракоці. Ремонтні роботи проводилися ще кілька разів до кінця сімнадцятого і на початку вісімнадцятого століть. Після поділу земель замок опинився під владою австрійського уряду, тут був розташований госпіталь. Після чергової пожежі в середині дев'ятнадцятого століття фортеця в Илже виявилася занедбаною.

Сьогодні в замку проводяться розкопки. На території історичної фортеці проходять костюмовані історичні турніри.