Холирудское абатство (абатство Святого Хреста) був заснований в 1128 році королем Шотландії Давидом I належала ченцям-августинцам. Абатство відігравало важливу роль не тільки в релігійному, але і в політичному житті Шотландії. Тут проводилися збори дворянства і вищого духовенства, тут коронувалися і вінчалися шотландські королі. Королі часто зупинялися в абатстві, розташованому поблизу від Единбурзького замку, воліючи жити тут, а не в самому замку, і вже в кінці XV століття в абатстві були окремі королівські апартаменти, а на початку XVI століття король Яків IV будує палац, що примикає до абатству – Холіруд-хаус.

В середині XVI століття англійські війська, захопила абатство, розорили його – будівля втратила свинцевої даху, були зняті дзвони, розграбовані цінності. Незабаром почалася Шотландська Реформація, і абатство було майже повністю зруйновано. У 1686 році король Яків VII заснував у Холируде єзуїтський коледж, а в наступному році абатство стало католицьким. Церква була відбудована заново і в ній з'явилася каплиця Найдавнішого і благородну ордена Чортополоху, прикрашена різьбленими кріслами з числа лицарів ордену. Однак у 1688 році натовп повсталих увірвалася до церкви, зруйнувавши і церква, і каплицю і осквернивши давні королівські поховання. (Своя каплиця з'явилася у ордена Чортополоху тільки в 1911 році в соборі Святого Джайлса в Единбурзі.)

Погано відремонтований дах звалилася під час урагану в 1768 році, і з тих пір абатство перебуває в тому стані, в якому ми можемо бачити його зараз – мальовничі руїни, вражаючі залишки колишньої величі. Протягом цих 250 років не раз з'являлися проекти реставрації та відновлення абатства, але жоден з них так і не був втілений в життя.