Замок Кастельхольм вперше згадується в літописах в 1388 р. як "Будинок Кастельхольм". Точна дата заснування замку, однак, невідома. З кінця XV століття замок був адміністративним центром архіпелагу і відігравав важливу стратегічну роль, а також був мисливським замком шведської королеви.

У нинішньому вигляді замок являє собою складний архітектурний комплекс, що будувався і що розширювався в період з кінця XIV до середини XVII ст. В 1745 році в замку стався руйнівний пожежа. Лише у ХХ столітті його відреставрували і відкрили для відвідування.

Поруч з замком відкрито два музеї. Один – Музей Державної в'язниці Віта-Бйорн, що знаходиться у старовинному будинку в'язниці. Втоой – Музей під відкритим небом Яна Карлсгордена, де можна оглянути більше двадцяти традиційних Аландських будинків і вітряків XIX століття. На старовинному постоялому дворі відвідувачів пригощають національними стравами.