Історія музею Тюремних воріт простягається вглиб на сім століть, недарма він входить в список 100 найважливіших історичних пам'яток Нідерландів.

У 1280 році ворота на площі Бейтенхоф були основним в'їздом в замок, який відомий тепер як Бінненхоф. 1428 році ворота стали використовуватися як місце ув'язнення для боржників або злочинців, чекали суду.

Сто років потому були до воріт прибудовані нові камери і приміщення суду. Аж до XVII століття тюремне ув'язнення не вважалося покаранням як таким - покаранням були штрафи, вигнання, тілесні покарання або смертна кара.

Тут містилися відомі історичні особистості: Корнеліс де Вітт, звинувачений у змові проти Вільгельма Оранського, і письменник, вчений і філософ Дірк Волькертсен Коорнгерт. В'язниця проіснувала 400 років, але до 1828 році ув'язнених тут вже не було. Два рази висловлювалися пропозиції про знесення цієї споруди в 1853 і 1873 роках, до щастя, до справи не дійшло, і з 1882 Тюремні ворота стали музеєм. Деякі частини музею можна відвідати тільки в супроводі екскурсовода.

У сусідньому приміщенні знаходиться Галерея Вільгельма V – художня галерея, заснована в 1774 році Вільгельмом V, принцом Оранським. З 2010 року відвідувачі можуть потрапити в галерею по гвинтових сходах, яка з'єднує дві будівлі. Колекція, яка представлена там зараз – це сучасна реконструкція 1774 року, яка також була розташована у верхньому поверсі будинку. Картини тісно розвішані по стінах, як це було прийнято в XVIII столітті. Живописні полотна були передані музею Мауріцхейс в 1822 році, який є формальним власником картин.