Сугімото-дера вважається першим храмом, який був побудований в Камакуре. Рік заснування – 734-й. З середини VIII століття ченці стали будувати в Камакуре і інші храми, поширюючи своє вчення і перетворюючи місто в центр дзен-буддизму. Храм належить до школи Тендай.

Ініціативу створення храму приписують Комі – дружині імператора Сему, яка вирішила заснувати храм і тим самим заспокоїти жителів розорених східних областей країни. В якості священика-засновника запросили священика Геки. Він вибрав підходяще місце для будівництва храму, який було вирішено присвятити богині милосердя Каннон. Вважається, що ім'я Геки так чи інакше пов'язане з 1200 храмами Японії. За свої заслуги священик був удостоєний звання Дайбосацу («Великий Бодхісаттва імператора»).

Головною святинею храму є статуя Одиннадцатиглавой Каннон, яка також була створена засновником Геки. У 851 та 985 роках для храму були зроблені дві нові статуї богині. Першу вирізав Эннин, очолював буддійську школу Тендай, а другу створив священик Гэнсин за розпорядженням імператора Кадзан, який оселився в монастирі, відійшовши від справ. Раніше Кадзан призначив Сугімото-дера першим пунктом у паломницькому «маршруті» Бандо, який проходив по 33 святим місцям регіону Канто. У подібному «маршруті» за 33 святилищам Камакуры храм Сугімото-дера був четвертою зупинкою.

Три статуї богині Каннон не постраждали під час пожежі, що сталася в 1189 році. Їх врятував людина по імені Дзедай-Бо й поклав біля підніжжя високого кедра. Цей випадок дав назву храму (Сугімото-дера перекладається як «Храм біля основи кедра»), а також додав популярності серед паломників. Пізніше історію трохи змінили, виключивши спасителя, а статуї ніби були врятовані чудесним чином. В даний час в храмі зберігаються п'ять статуй Каннон. Четверту подарував Мінамото-але Йорітомо в 1191 році, а п'ята з'явилася в 1963 році і була зроблена головним священиком.

Храм супроводжувала ще одна легенда про статуї Каннон: нібито якщо повз храму проїздив верхи на коні невіруючий, то кінь неодмінно скидала вершника. Після того як до особи самої першої статуї, зробленої Геки, притулили буддійський чернечий плащ, падіння вершників перед Сугімото-дера припинилися, а сам храм отримали ще одну назву – Гэба Каннон.

У 1337 році в храмі сталося бій між воїнами Ходзьо і воїнами Асикаги, в якому загинуло понад 300 самураїв, в пам'ять про яких поряд з головним залом були встановлені горинте поховальні кам'яні вежі.