Свою мегапопулярность серед туристів замок Іф придбав завдяки двом персонажам – в'язневі в залізній масці і Едмону Дантесу. Перший був реальною особою (правда, ким саме, досі не встановлено, є кілька версій на цей рахунок) і утримувався в інших в'язницях Франції, крім цієї. А другий теж ніколи не бував у цьому замку, бо не існував зовсім, а був придуманий Олександром Дюма як герой роману «Граф Монте-Крісто». До речі, і Залізна маска також був описаний в іншому романі Дюма «Віконт де Бражелон».

Цим двом в'язням в катівнях замку Іф були відведені дві камери вже після відкриття тут музею. У замку можна подивитися фрагменти з різних екранізацій роману, побачити інші експонати, пов'язані з романом «Граф Монте-Крісто». Камери, в яких містилися реальні в'язні, що залишили слід в історії Франції персони, позначені табличками з прізвищами. Серед них – політичний діяч часів революції граф Мірабо, головнокомандувач французькою армією генерал Клебер.

Більшу частину своєї історії замок Іф служив в'язницею для найбільш небезпечних з точки зору французької державності злочинців. Тут містили гугенотів, опальних політиків, керівників Паризької комуни, а також найбільш небезпечних злочинців.

Ця фортеця була побудована в першій половині XVI століття за наказом короля Франциска I як оборонна споруда для захисту Марселя. В'язницею ж вона стала в кінці XVI століття і залишалася нею фактично до 1871 року. Свій роман Олександр Дюма написав в 1845 році, а в 1890-му замок був відкритий для зацікавлених відвідувачів.

Як в'язниця замок обріс безліччю легенд і придбав славу місця, з якого неможливо втекти, багато в'язні померли від жахливих умов ув'язнення, і їх тіла були викинуті зі стін замку в море. З в'язниці на острові Іф був здійснений лише один пагін, та й той вигаданий, зроблений героєм Дюма Едмоном Дантесом. А як форт замок не був жодного разу атакований, так як ворогів жахав вже один вигляд цієї фортеці.