Фортеця Алустон була побудована в VI ст. за наказом візантійського імператора Юстініана I. Алустон розташовувався в 200 м від моря на вершині 44-метрового пагорба. Лінія кріпосних стін Алустона являла собою чотирикутник неправильної форми. На стиках куртин були зведені 3 вежі: Ашага-Куле («Нижня вежа»), що збереглася в центрі міста до наших днів, Орта-Куле («Середня вежа») і повністю разрушившаяся Чатал-Куле («Рогата вежа»).

Товщина стін Алустона сягала 2-3 м, а висота — 9, 5 м. Якщо уважно придивитися до кам'яній кладці, то в ній можна помітити порожнечі. У них знаходилися дерев'яні колоди. Вони виконували не тільки сполучну функцію, але і служили своєрідним амортизатором під час землетрусів.

До кінця VII ст. Алустон був залишений візантійцями. У X столітті, після падіння Хозарського каганату, Алустон був зруйнований, можливо, печенігами. Почався його занепад. Але з XII ст., після стабілізації обстановки на півострові, Алустон переживає новий розквіт.

У 1381-1382 рр. генуезці купили у кримського хана ділянку узбережжя від Судака до Балаклави, включаючи і Алустон (Лусту). В історії фортеці почався новий етап. Алушта стає торговою факторией «Капітанства Готії», чисельність її населення зростає до 1-1, 5 тис. осіб. У II половині XV ст. навколо Алустона зводиться нова лінія оборони з 3 вежами на північному і східному флангах.

У червні 1475 р. на італійські володіння в Криму були атаковані турецьким флотом. Алустон також зазнав нападу. Археологічні дослідження показали, що місто загинуло від пожежі, після якого фортеця Алустон більше не відновлювалася.