Від фортеці, створеної в 1492 році і поклала початок Ивангороду, до наших днів збереглися лише окремі фрагменти. Це була чотирикутна в плані фортеця з чотирма квадратними баштами по кутах, зі стінами, складеними з місцевого вапняку і мають товщину 3 м. Стіни завершувалися зубцями, в яких містилися бійниці.

У 1496 році почалися роботи по реконструкції оборонних укріплень: на східній стороні фортеці прибудували значно перевершує за розмірами нову прямокутну фортецю, що згодом отримала назву Великого Бояршего міста. Таким чином, дві кутові вежі старої фортеці 1492 року виявилися як би вмуровані в стіну нової.

Великий Боярший місто був витягнутий з заходу на схід, загальна довжина стіни 617 метрів. По кутах стояли чотири круглі вежі, між якими розташовувалися прямокутні башти. Дві башти, в яких знаходилися ворота, дійшли до нас вже в перебудованому вигляді. Так на місці Ворітної вежі в XVI столітті була збудована восьмигранна Відвідна вежа, яка була пасткою для проривання ворога, так як вона не мала покриття, а з бійниць кріпосної стіни, що знаходяться вище, легко прострілювалася. У XIX столітті ця башта була реставрована.

У 1507 році на Превеликий Бояршему міста з заходу і до краю обриву, що веде до річки, прибудували новий зміцнення, який отримав згодом назву Замок, який повністю поглинув первісну міцність 1492 року. Дві цікаві башти були побудовані в стінах Замку, одна - Кринична, інша - найвища - Порохова, з оглядового майданчика якої добре проглядалася річка і Нарва.

Протягом усього XVI століття велися будівельні роботи по вдосконаленню та посиленню фортеці. У XVII столітті будівельні роботи були завершені прибудовою до північно-західній частині фортеці Переднього міста. В результаті будівництва Переднього міста з його двома вежами (вежа Намісника і Довгошия), вся територія Дівочої гори була забудована. Івангород став ще більш неприступним оборонним укріпленням.

Незважаючи на те, що кріпосний ансамбль створювався на протязі значного відрізку часу (з кінця XV до початку XVII століття), Івангородська фортеця являє собою цілісний, логічно завершений архітектурний твір.