Біля храму Хасэдэра є красива легенда про його заснування. Згідно з переказами, один чернець, що жив у горах недалеко від села Асука на початку VIII століття вирізав з камфорного дерева статую богині Каннон і залишив її в місцевому храмі з назвою Хасэдэра. Однак шматок дерева був настільки великим, що монах вирішив вирізати ще одну фігуру бодхісатви і пустив її плисти по морських хвилях. Через 15 років статую викинуло на берег поруч з Камакурой, і для богині був побудований ще один «дім», також названий Хасэдэрой. Храм також відомий під найменуванням Хасэ-Каннон.

Статуя богині вважається однією з найбільших дерев'яних статуй в Японії, її висота складає більше 9 метрів. У дерев'яної і позолоченою Каннон 11 голів, кожна з яких представляє один з етапів на шляху до просвітління. Крім цього, в храмі представлені зображення 33 втілень Каннон, богині милосердя.

Храм є одним з найстаріших в Камакуре. Він був побудований в 736 році за розпорядженням представника впливового клану Фудзівара Мусасаки, який запросив для заснування храму священнослужителя Токудо Дзенин, вже заснував храм Хасэ в Ямато.

Поряд з Хасэдэра розташувався прихрамовый місто. Сам храм розташований на схилі гори, і щоб підійти до головного будівлі, потрібно подолати шлях довжиною критої драбини. Біля головної будівлі є відкрита тераса на палях, схожа на балкон храму Кіемідзу-дера. З неї відкривається вид на Камакуру і Тихий океан.

У комплексі Хасэдэра є зал, присвячений божеству-зберігачу дітей Дзідзо. Його статуя оточує безліч кам'яних фігурок дітей, які померли або не народилися внаслідок абортів. Цих фігурок – сотні, і їх встановили батьки цих дітей. Фігурка залишається поруч з Дзидо протягом року, а потім її замінює інша.

Храмовий дзвін вважається найстарішим в Камакуре, так як був відлитий у 1264 році, а сам храм – найбільшим буддійським храмом у місті. Храмовий комплекс також включає сховище сутр, священну печеру і сад.