Печера Геллерт є частиною мережі печер на горі Геллерт. Печеру називають "печерою Святого Іоана" по імені пустельника, який жив там, і, як вважають, використовував природні термальні води озера поруч з печерою для зцілення хворих. Цілком імовірно, що це ті ж води, що потрапляють в басейни купалень Геллерт.

У 19 столітті печера була притулком бідної сім'ї, яка, наскільки змогла, облаштувала природне житло. Вхід у печеру був закритий. Ілюстрацію цього періоду історії можна побачити на картині Міхая Майра, датовану 1860-ми роками і на фотографії Дьєрдя Кльошу 1877 року.

У 1920-х роках група ченців, натхненна під час паломництва кам'яними спорудами Люрду у Франції, облаштувала печеру по своєму і переробила вхід. З 1926 до 1951 року печера служила в якості каплиці і навіть монастиря. Під час Другої світової війни тут розташовувався польовий госпіталь німецької армії. У 1945 році Червона армія звільнила Будапешт. Протягом шести років печера продовжила виконувати релігійні функції, але в 1951 році в рамках посилення репресій, спрямований проти католицької церкви, органи державної безпеки провели обшуки в каплиці. Печера була замурована, старший брат Ференц Везер засуджений до смерті, ченці – до ув'язнення на термін до десяти років.

Каплиця була відкрита знову 27 серпня 1989 року – товста бетонна стіна, що закриває вхід, була зруйнована. До 1992 року каплиця була відновлена і приведена в порядок. В даний час в печері проходять служби, незважаючи на те, що вона є туристичною визначною пам'яткою.