Церква Святого Гереона належить до старовинних пам'яток міста Кельна. Її історія почалася в далекому IV столітті. Саме в цей період було побудовано досить потужна споруда, що розташовувалася над одним з могильників. Історики вважають, що базиліка придбала свою назву на честь одного з солдатів Фіванського легіону Гереона Кельнського.

В якості церкви це будова описувалося з V століття, коли містом правила династія Меровінгів. Тоді базиліка вважалася значною церквою у всій східній частині імперії. Існує думка, що вона стала усипальницею для деяких франкських королів. Перший єпископ міста Кельна також був похований у базиліці Святого Гереона.

У першій половині IX століття церква стає монастирській, в 1069 році до її будівлі прилаштовують довгий хор, а також бічні вежі і нову крипту. Через два століття неф будівлі покривається овальним куполом вражаючих розмірів, його висота склала близько 34, 5 метрів. Зовнішній вигляд храму, остаточно створений у XIII столітті, зберігся до теперішнього часу.

У 1920 році церква Святого Гереона отримала статус Малої базиліки. У роки Другої світової війни будівля значно постраждало, але згодом проводилися відновлювальні та реставраційні роботи, що закінчилися тільки в 1984 році. Ця церква вважається воістину видатним сакральним будівлею, що поєднує в собі як романську, так і пізньоантичну архітектуру. Усередині храму можна побачити старовинні фрески, що збереглися до наших днів, серед них є зображення Страшного суду, Гереона і інших солдатів з Фіванського легіону, а також гобелени 1765 року, де відображаються моменти з життя святого Йосифа.