Вежа ратуші – кам'яний, в плані – чотирикутна, одна з двох дійшли до нас бойових веж Виборзької фортеці. Вона була побудована в 1470-х рр. одночасно з іншими вежами стіни оборони Кам'яного міста. Вежа ратуші – єдине, що дійшло до наших днів військово-інженерне спорудження, яке входило в лінію оборони південно-східної стіни Кам'яного міста.

До кінця 15 ст. Виборг був добре укріпленою фортецею, яка складалася з двох вузлів оборони: Кам'яного міста на материку і замку на острові, пристосовані до самостійного захисту, що довели під час облоги 1495 р. Російські війська, очолювані Василем Щеней, Яковом Захарьевичем і Василем Шуйським 21 вересня 1495 р. підійшли до Выборгу, зімкнули навколо нього суцільне кільце облоги. Облягати частини мали значну чисельну й технічну перевагу (артилерія). Фортеця ж – ненавчені селяни і 500 німецьких найманців. Всього було близько 1, 5 тисяч захисників фортеці. Під час однієї з вилазок загинуло майже 900 осіб, що послабило оборону фортеці.

13 жовтня російські війська в перший раз зробили спробу штурму фортеці, але безуспішно. Після цього почалася тривала і виснажлива облога. На допомогу Выборгу був відправлений загін зі Швеції, але він не дістався до фортеці. В ході артилерійського обстрілу були зруйновані три вежі на південно-східній стіні Кам'яного міста. 30 листопада розпочався вирішальний штурм фортеці. Російські війська змогли захопити Андріївську вежу. Бій тривав сім годин, але руські воїни не змогли розвинути свій успіх. Командував обложеним гарнізоном шведський воєначальник Батіг Поссе організував контратаку. Захисниками фортеці вдалося внести замішання в ряди загарбників, устрою всередині фортеці пожежа. Батіг Поссе дав наказ підпалити захоплену вежу. В результаті чого башта була підірвана. Значні втрати російських військ змусили їх припинити штурм. А 4 грудня російські війська зняли облогу фортеці і вирушили додому.

Виборзький замок і Кам'яне місто показали себе як цілком вчинені військові укріплення. Спроба взяти Виборг робилася також військами Івана Грозного в 1556 р., але також виявилася безуспішною.

Розвиток військової техніки привів до необхідності зміни конструкцій військово-інженерних споруд. Стіни фортець стали робити нижчими, але з більшою товщиною. Вежі стали зводити приземкуватими, але великими за площею.

Військовою історією було доведено, що під час захисту фортець вогонь, спрямований на фланги атакуючим більш ефективним, ніж передній. Вежі почали споруджувати з деяким виносом в бік поля перед фортечними стінами. Для вдосконалення міських укріплень така споруда була зведена і у Виборзі.

Відомості про Вежі ратуші з'явилися тільки в 1558-1559 рр. у зв'язку з її ремонтом. Етапи будівництва споруди добре визначаються обмірними кресленнями однотипної Скотопрогонной вежі, яка була розібрана в 1763 р. і натурними дослідження, проходили в 1974 р у Вежі ратуші.

Спочатку вежа мала вигляд косоугольного в плані споруди під двосхилим дахом, яка виступала за кріпосну стіну. Вона мала висоту 9, 7 м (до гребеня покрівлі – 12, 5 м). До вежі з двох сторін примикають висотою 5, 7 м прясла, які є залишками розібраної кріпосної стіни. Північний фасад Вежі ратуші з кріпосною стіною становив єдине ціле, тобто всім своїм обсягом вона виступала в бік «поля» для фланкування розташованих поруч ділянок кріпосної стіни. По вертикалі Вежа ратуші поділялася на три яруси (або «бою»). Так званий «підошовний бій», що представляє собою перший ярус башти, був перекритий склепінням. Кам'яна сходи всередині вежі вела на рівень «першого бою», вище розташовувався «другий бій», де було п'ять камерних амбразур (одна в тильній стіні і по дві у бічних стінах, щоб вести фланкирующий вогонь).

Передбачається, що всі прямокутні в плані вежі Кам'яного міста, в т. ч. і Вежа ратуші, були проїзними. Ширина в'їзного отвору становила 2, 6 м. Виходить в «полі» отвір має прямокутну, а всередині башти – напівциркульну форму. Найімовірніше, проїзд зовні перекривався підйомним мостом, а також воротами, замикаються горизонтальним бруском.

З будівництвом бастіонної Рогатої фортеці стіни й вежі Кам'яного міста втратили своє військове значення. Зовнішній отвір у вежі був закладений каменем (швидше за все в 16 ст.), при цьому в кладці була залишена одна бойова амбразура з упором для аркебузи.

Коли башта остаточно втратила своє колишнє значення, вона була передана у ведення магістрату ратуші. Тут був влаштований арсенал зі зброєю та бойовими обладунками городян, які були зобов'язані захищати місто в разі необхідності. З того часу у вежі збереглося і залишилася назва, що дійшла до нашого часу – Вежа ратуші.

Пізніше колишнє раніше оборонним споруду використовували як дзвіницю зведеного неподалік собору домініканського монастиря, а потім – церкви Виборзького приходу. Саме це призначення будівлі послужило причиною його подальших переробок, спотворили первісний вигляд споруди.

Вежа ратуші стала мати форму восьмерика на четверику. А в 1758 р. будівля була увінчана гострим бароковим покриттям. В подальшому після пожежі і відновлення в кінці 18 ст. вежа свій зовнішній вигляд не змінювала.

Пожежею 13 березня 1940 р. було знищено дерев'яний шпиль вежі. Перші реставраційно-ремонтні роботи у вежі були розпочаті в 1958 р. Саме тоді було споруджено тимчасовий шатрове покриття і закладені щитами віконні прорізи. Споруда була законсервована і простояла так майже 20 років.

В кінці 1970 рр. на башті була відновлена барокова покрівля за проектом архітектора А. В. Хаустової. Проте споруда простояла занедбаної, без інженерних комунікації, благоустрою території до 1993 р.