У гавані Като Пафос, на самому західному краю набережній, розташувалося одне з найцікавіших місць Пафосу – Портова фортеця. Історичні джерела свідчать, що ця гавань активно використовувалася ще в епоху великого Олександра Македонського.

Перше укріплення в гавані було побудовано ще візантійцями. Це був невеликий замок з єдиним входом, вузькими вікнами, однією квадратною вежею і маленьким внутрішнім двориком. Але споруда була зруйнована потужним землетрусом в 1222 році. Пізніше фортеця була відновлена Лузиньянами в IV столітті. Тоді на узбережжі були зведені відразу дві башти, які повинні були охороняти місто з боку моря. Пізніше, коли влада на острові намагалася захопити турецька армія, венеціанці, які володіють на той момент територією, повністю зруйнували форт, щоб османи не могли їм згодом скористатися.

Проте вже в 1592 році, османи, яким все ж таки вдалося зайняти місто, на місці однієї із зруйнованих веж звели нову фортецю, яка і стоїть до сих пір в порту Пафосу. Однак крім основної своєї функції по захисту міста, це зміцнення стало виконувати роль ще в'язниці для військовополонених, також там зберігали зброю і боєприпаси. А коли місто захопила британська армія, фортеця навіть служила складом солі.

Зараз же місце користується великою популярністю серед туристів. На території фортеці працює виставкова галерея, а з її даху відкривається приголомшливий вид на околиці. Крім того, з недавніх пір у стін Портової фортеці кожен рік у вересні проводиться культурний фестиваль.