Даремський замок, який височить на пагорбі над річкою Уїр, був побудований в XI столітті і є шедевром норманської архітектури, як і Даремський собор, розташований навпроти. Замок, виконаний в стилі мотт-і-бейлі, спочатку служив захистом північних кордонів Англії, а потім став резиденцією єпископів Дарема. У 1832 році резиденція єпископів була перенесена в замок міста Окленда, розташованого неподалік, а в 1837 році Даремський замок був перетворений в університетський коледж, що діє й донині. Зараз у замку проживає більше сотні студентів.

Замок відомий своїм головним залом, облаштованим єпископом Ентоні Беком у XIV столітті. Близько століття Зал Бека був найбільшим у всій Англії, але вже в XV столітті його довелося трохи зменшити. Розміри залу складають 14 метрів у висоту і 30 метрів у довжину. Варто відзначити, що зараз цей зал використовується як їдальня для студентів і професорів університетського коледжу, а в крипті під Залом Бека розміщена загальна вітальня студентів коледжу. Сплять ж студенти в донжоні, який був спеціально перебудований для цієї мети в 1840 році. Незважаючи на перебудову, сучасний донжон зберіг свої початкові обриси.

Найстаріша частина замку, відкрита для відвідин – це Норманнская капела, побудована в 1078 році в англо-саксонському стилі. В XV столітті, з-за розширення донжона, доступ до капелі був заблокований, і її стан прийшло в занепад. У 1841 році її відновили як раз в якості проходу в донжон. Під час Другої світової війни Норманнская капела служила командним і спостережним пунктом Королівських військово-повітряних сил Великобританії. Незабаром після війни капелу заново освятили.

Ще одна капела, що збереглася в замку – капела Танстолла, побудована в 1540 році. Вона трохи більше Норманської капели, - при цьому була ще збільшена в кінці XVII століття - і тому частіше використовувалася для релігійних цілей. У капелі збереглися мизерикордии XVI століття – невеликі сидіння для тих, хто втомився від довгого стояння під час молитви. В обох капеллах зараз проходять служби і театральні вистави.

Під час літніх канікул Даремський замок використовується як готель, в ньому так само часто проводяться наукові конференції і з'їзди. При цьому замок відкритий для відвідування, але відвідати його можна тільки в ході екскурсійного туру.

Як і Даремський собор, Даремський замок увійшов у список об'єктів Всесвітньої спадщини ЮНЕСКО в 1986 році.