Виборзький замок був заснований в 1293 році шведським хрестоносцем Торгильсом Кнутсоном, після не раз перебудовувався, але в цілому майже не змінив свій вигляд. Замок розташований на острівці, до якого можна дійти пішки — з моста через бухту є спуск прямо до замкових воріт. По площі замок невеликий, і не має стін — замість них по всьому периметру замку споруджені потужні житлові і господарські будівлі з кутовими вежами, складені з валунів.

Всередині замку розташовано три невеликих дворика (Нижній, Верхній і Ковальський) і вузька, вигнута, мощена бруківкою, піднімається наверх вуличка. Нижня частина замку вся вибудувана з темних каменів, і над усіма будівлями високо піднімається грандіозна біла вежа єпископа Олафа, справжній символ Виборга — вежу видно з будь-якої точки міста.

Вежа Олафа, з величезним кубоподібним підставою і шестигранною верхньою частиною, була побудована ще в XIII столітті, кілька разів надстраивалась і мала висоту понад 80 метрів, але після пожежі в XVIII столітті була сильно перебудована, і зараз її висота всього 45 метрів. На вежу можна піднятися і помилуватися панорамою старого Виборга і затоки з нескінченними лісистими шхерами.

Біля підніжжя вежі розташований крихітний Ковальський двір, з якого можна потрапити в Краєзнавчий музей, і в історико-реконструкторский центр, де можна надіти на себе лицарські обладунки, взяти в руки спис чи меч і щит, і сфотографуватися — за невеликі гроші.