Лютеранський собор, розташований в північно-західній частині міста Берген, вперше згадується на початку XII ст. Як церква Святого Олафа. Саме на цьому місці стояв перший кам'яний храм.

Під час правління короля Хокона VI біля нього був побудований францисканський чоловічий монастир. У 1537 р. храм набув статус собору. Після численних пожеж у середині XVI ст. храм відбудували заново. У XVII в. Його також оновлювали після двох трапилися тут пожеж, як раз в цей час церковний шпиль замінили на башточку.

Під час Другої англо-голландської війни в соборній стіні застрягло гарматне ядро, яке досі перебуває там. У 1880 р. за проектом архітектора Крістіана Крісті інтер'єр у стилі рококо був перероблений, і собор отримав назад свій середньовічний вигляд.

У Бергенському соборі періодично проводяться дивовижні концерти органної музики.