Синтоїстське святилище Касуга-тайся було побудовано в 768 році. Святилище було фамільним храмом клану Фудзівара, як і знаходиться поряд, в «оленячому» парку Нара, буддійський храм Кофуку-ji temple.

Тісне сусідство двох храмів, які представляють різні релігії, можна назвати прикладом процесу перемішування буддизму і синтоїзму, яке в Японії тривало довгі століття аж до епохи Мейдзі.

На території святилища знаходиться історичний музей, в якому представлені цінності храму Касуга та інших синтоїстських святилищ. Ця колекція вважається найбільш повним зібранням культурних пам'яток періоду Хейан.

Перші ритуальні ворота-торії святилища встановлені в центральній частині міста і визнані особливо важливою культурною цінністю. Матеріалом для їх побудови послужила деревина криптомерии, а звели їх в IX столітті. Територію храму з трьох сторін оточує галерея, дах якої встановлена на стовпах червоного кольору.

У внутрішньому дворику храму, вздовж доріжки до кумирне і на іншій території святилища встановлені ліхтарі – всього їх тут більше трьох тисяч. Всі ці світильники колись були подаровані святилища його членами і відвідувачами. Раніше їх запалювали щодня, а тепер – тільки два рази в рік, під час свят Сецубун на початку лютого і Тюгэн-манторо-мацурі в середині серпня, коли запалювання ліхтарів супроводжується музикою і танцями. А в грудні, під час святкування Касуга-вакамия-він-мацурі, ліхтарі, навпаки, всюди виплачуються. Крім того, поруч зі святилищем регулярно проводять шоу з церемоніальною музикою і танцями стародавньої Японії.

В храмі Касуга зберігаються кумирні чотирьох божеств синто. Поруч з храмом знаходиться ботанічний сад Манйосю. Святилище відвідують члени імператорської прізвища, керівники міністерств та інших відомств країни.