Древня легенда розповідає, що в 1364 році литовський шляхтич на ім'я Гоштаутас, запросив у країну 14 францисканських монахів і подарував їм вдома, щоб вони могли влаштуватися в країні. Коли Гоштаутаса поїхав, всі ченці були вбиті. Через деякий час, вельможа запросив інших монахів-францисканців. Нових ченців він поселив в іншому місці, а на місці убієнних ченців він побудував костел, названий на честь Святого Хреста.

В 1524 році костел згорів. У 1635 році в це місце оселилися священики боніфратри. Вони почали свою діяльність із того, що побудували новий костел Святого Хреста, заснували поруч однойменний монастир і відкрили на території монастиря лікарню. Пізніше лікарню перетворили на притулок для душевнохворих. Костел Гоштаутаса був відведений під монастирське приміщення. Психіатрична лікарня діяла тут аж до 1903 року, коли була переведена в нові будівлі, побудовані спеціально для психіатричної лікарні.

У 1737 році костел знову згорів. У 1748 році костел був відреставрований, був повністю ремонтували інтер'єр, були влаштовані шість вівтарів, і була встановлена костьольна кафедра, побудована в стилі бароко. Так само в стилі бароко оформлений фасад і сама будівля монастиря. Хоча після цієї реставрації в екстер'єрі будівлі з'явилися і елементи рококо. Всередині храму велично піднімаються над просторим приміщенням кам'яні, хрестоподібні арки. Цікаво поєднання архітектурних елементів бароко, рококо і неорококо.

На території храму знаходиться джерело, вважається чудодійним. Легенди кажуть, що джерело несподівано з'явився біля статуї Непорочного Зачаття. Це саме те місце, де піддавалися тортурам убієнні монахи францисканці. Кажуть, що особливо благотворно впливає вода цього джерела на хворих, що страждають очними хворобами.

У костелі є ще і чудотворний хрест, який встановлений над головним вівтарем. Нижче хреста знаходиться зображення Пресвятої діви Марії з немовлям. Імовірно, картина написана в 17 столітті, але достеменне походження картини невідомо. Вона теж зарахована до чудотворних творінь. Копію чудотворної картини Пресвятої діви Марії з немовлям, у вигляді фрески, можна побачити і на головному фасаді Костелу. Вона знаходиться під арочним фронтоном, побудованому в 1737 році між двома бічними вежами костелу.

Між 1914 і 1924 роками в храмі проводилися спеціальні служби для учнів литовських шкіл. У період, коли Вільнюс був окупований Польщею, в храмі не проводились служби на литовською мовою.У 1843 році Орден боніфратрів був скасований, і на місці монастиря залишилося тільки їх представництво. У 1909 році костел був знову ремонтували. По закінченні Першої світової війни, в 1924 році, єпископ Юргис Матулайтис запросив боніфратрів повернутися в монастир Святого Хреста. Повернення ченців у монастир був дуже своєчасним. Вони відремонтували церкву, поставивши в ній шість вівтарів. Також вони влаштували при святої обителі притулок для літніх людей і безкоштовну їдальню для нужденних "Карітас".

На початку Другої світової війни брати з Вільни були відкликані орден боніфратрів. У 1947 році монастир прихистив сестер згромадження «Непорочного Зачаття Пресвятої Діви Марії». Однак панували вони тут недовго. Радянська влада закрила в 1949 році і монастир, і храм. В будівлях монастиря були розташовані житлові квартири.

У 1976 році храм відреставрували і влаштували в ньому концертний зал Вільнюської філармонії, так званий «Малий зал бароко». Тут влаштовувалися концерти органної музики.

Вільнюському архиєпископство отримала назад свої будівлі лише після зміни державного ладу, в 1990 році. Храм та будівлі монастиря були відновлені, посвячені та передані знову монахинь згромадження сестер Непорочного Зачаття Пресвятої Діви Марії».