Костел Всіх Святих - один з цінних зразків безбашенних барокових храмів, що належить римо-католицької концесії. Входить в ансамбль новіціату (місця для послушників) та кармелітського монастиря в старому місті.

Будувався костел разом з монастирем протягом 11 років з 1620 по 1631 рік біля Рудницьких воріт. Під час військових дій з Москвою храм горів і при реконструкції в 1655 році був істотно перебудований. Пізніше, в 1743 році біля північно-східного кута, на місці башточки, була побудована складної форми дзвіниця у стилі пізнього бароко. У 1812 році храму було завдано чималої шкоди наполеонівськими солдатами, сжегшими исповедальни і лави. Французи влаштував у храмі госпіталь. Відремонтований та оновлений костел був в 1823 році.

Російські власті скасували монастир, і з 1885 року в приміщеннях монастиря влаштували милі квартири, а з 1948 закрили і костел, влаштувавши в ньому склад бакалійних товарів.

З 1967 по 1975 роки в храмі проводилися реставраційні роботи під керівництвом архітектора Алдоны Швабаускене. Після реставрації храм діяв як Музей Литовського народного мистецтва. Реституція храму була проведена відразу після зміни державного ладу, в 1990 році храм було повернуто віруючим і діє донині.

План будівлі костелу має форму латинського хреста, за формою храм – тринефний базилікального типу. Своєрідність простору всередині храму в тому, що бічні нефи утворені бічними каплицями костелу. Бічні нефи в 3 рази і вже 2 рази нижче центрального, відокремлені від нього двома парами пілонів з кожної сторони. Склепіння нефів – циліндричні з люнетами.

Головний фасад має архітектуру форми раннього бароко, фасад поділений на два яруси карнизом, пілястри виділяють його вертикальну вісь. Увінчує фасад фронтон трикутної форми, з высящимися з боків обелісками. Портал у стилі ренесансу підкреслює центральну вісь будівлі. У нішах раніше були встановлені статуї родоначальників кармелітського чернецтва – Святого Іллі та святого Єлисея, виконані з дерева.

Монументальна чотириярусна дзвіниця, що розширюється донизу, закінчується шоломом і ажурним хрестом. Пілястри нижнього ярусу, оброблені рустом, вносять яскравий контраст з вбудованими в кути колонами. Коринфські пілястри другого ярусу декоровані ліпним мотивом. У третьому ярусі розташовані навскоси бічні пілястри обрамляють колони. В останньому, четвертому ярусі пілястри як би виростають з волют.

Вікна ніші дзвіниці мають різну арочну форму і декоровані ліпниною, а в четвертому ярусі ніша ще обгороджена декоративною решіткою балкона. Передбачається, що дзвіницю будував той самий архітектор, що будував вежі кармелітського костелу в Білорусії.

Стіни і склепіння нефів храму, куполи бічних каплиць прикрашені фресками і орнаментами, на фресках зображені сюжети з життя святих і з історії Литви. Декоративна ліпнина, прикрашає внутрішнє оздоблення храму виконано в кінці 18 століття. В костелі 18 вівтарів, прикрашених скульптурами святих, фресками і зображують сюжети їх життя. Головний вівтар спорудили імовірно в кінці 1780-х, за проектом Мартіна Канфуса.

Під час реставраційних робіт, проведених у 1902 році з ініціативи священика Чудовського, фрески були зафарбовані, на сьогоднішній день відкрито лише невелика частина їх.