Срібний павільйон Гинкаку-дзі побудував в 1483 році сьогун Асикага Есимаса. Його надихнув приклад його діда Асикаги Йосіміцу, який свого часу звів Kinkaku-ji temple – павільйон, два поверхи якого обшиті листами сусального золота.

На відміну від Золотого павільйону, задум Гинкаку-дзі так і не був доведений до кінця – срібними пластинами, як передбачалося, його не обшили – через нестачу коштів або з інших причин, точно не відомо. І нехай срібла тут немає, але відвідувачі відзначають, що навіть вдень стіни павільйону наче випромінюють легке сріблясте світіння.

Срібний павільйон, так само, як і Золотий, після смерті свого господаря став буддійським храмом. Сьогодні він знаходиться в храмовому комплексі Секоку-ji temple.

Срібний павільйон являє собою храм богині Каннон, хоча спочатку призначався для відпочинку сьогуна в самоті. Будівля була частиною його резиденції, що отримала назву «Палац Хигасияма» або «Палац східних гір». У 1485 році Есимаса сам вирішив стати буддійським ченцем, а після своєї смерті, як і дід, заповідав перетворити свій маєток у монастир.

Серед монастирських будівель будівля павільйону вважалося самим красивим. Перший поверх називався Залом порожнього серця і був побудований в дусі самурайського житла тієї епохи. Другий поверх носив назву Павільйону милосердя і внутрішнім оздобленням нагадував буддійський храм, в його вівтарі знаходилася статуя богині.

Примітною особливістю Гинкаку-ji temple є також піщаний сад, який вважають зразком піщано-садового мистецтва XVI століття. Він являє собою озеро, яке викладено з сріблястого піску і гальки.

Архітектура Срібного павільйону ознаменувала новий етап у розвитку японського мистецтва. Вплив цього стилю, який називається сеин-дзукурі, присутній і в даний час. Так, вперше були використані розсувні зовнішні і внутрішні перегородки. Коли зовнішні перегородки знімали, будинок ставав частиною саду, що оточував павільйон. Вперше тут з'явилася і токонома – естетичний центр будинку, у якому розміщувалися композиція з рослин, відповідних часу року, живописний твір, полиця для книг і приладдя для письма.