Середньовічний замок Алвора, який ще називають фортом Алвора, вважається одним з найбільш значних пам'ятників оборонної архітектури.

Перша будівля на цьому місці – карфагенський форт - було побудовано в 7 столітті до н. е. Прямокутної форми фортеця була побудована на вершині гори. Головні ворота фортеці були побудовані набагато пізніше - в епоху Ренесансу і виходили на північ. Вхід в ці ворота охоронявся вежею.

В 436 році форт був захоплений карфагенським полководцем Ганнібалом, який перейменував форт у фортецю під назвою Портуш Аннибалис. У часи дороманской колонізації Алвор був важливим комерційним і торговим центром завдяки тому, що мав доступ до моря. У 736 році населений пункт був завойований мусульманами, але продовжував грати роль важливого торгового центру. У 1189 році король Португалії Санчо I звільнив Алвор від мусульман, але в результаті військових дій форт був зруйнований. На жаль, в 1191 році маври знову окупували регіон. У XIII столітті Алвор був відвойований у мусульман, і у 1300 році фортеця була відновлена за наказом португальського короля Дініш.

В епоху християнства Алвор був одним з головних населених пунктів в Алгарве, а гарнізон, розміщений в невеликій будівлі форту квадратної форми, був завжди в бойовій готовності. Функції форту будівля виконувало приблизно до XVII століття. Після португальської війни за незалежність військові сили були перекинуті в більш великі форти, розташовані вздовж узбережжя, і фортеця залишилась пусткою. На території та за межами стали споруджувати будівлі.

В 1755 році фортеця була зруйнована в результаті землетрусу. На сьогоднішній день від фортеці збереглися лише деякі фрагменти стін з бійницями і вежа.