Середньовічний замок Бежа розташований в північно-західній частині міста, на пагорбі, і видно здалеку.

Замок був побудований в XIII столітті, за часів правління короля Дініш, на місці руїн римського, а пізніше мавританського зміцнення. Будувався замок одночасно з міськими стінами і був оточений зубчастим муром, а на кожному розі височіла квадратна вежа. Всередині, прямо посередині перебувала сторожова вежа-донжон, Торрі-ді-Менажен, побудована з граніту та мармуру. Висота вежі Торрі-ді-Менажен – 40 метрів, і це найвища сторожова вежа в Португалії, а також чудовий приклад середньовічної архітектури. На зубцях навісний бійниці Торрі-ді-Менажен – невеликі пірамідки. Збереглася також романська арка, яка стоїть на кам'яних плитах. Щоб потрапити нагору сторожової вежі, звідки відкривається неперевершений вигляд на місто і на рівнини, треба піднятися по гвинтових сходах, яка налічує 197 сходинок. По дорозі нагору відвідувачі проходять через три кімнати з вікнами в готичному стилі. Привертає увагу стелю кімнат, виконаний у формі періодичного склепіння з елементами готичного стилю. В даний час в замку знаходиться невеликий військовий музей.

Недалеко від замку знаходяться руїни міських стін. Колись високі та міцні міські стіни були увінчані 40 баштами, а також мали п'ять воріт. З 16 червня 1910 року замок Бежа класифікується як Національний пам'ятник Португалії.