Район Вяркяй знаходиться в семи кілометрах від центру міста Вільнюса і давно вже став його частиною. До 14 століття ця місцевість належала литовським великим князям. Саме з тих пір і збереглося його нинішню назву. Воно пов'язане зі старовинної місцевою легендою. Кажуть що коли-то литовський князь Гедемин, під час полювання в лісі, почув дитячий плач. Придивившись, він побачив у гнізді лелеки плаче немовля, і, природно, взяв його до себе. Дитину назвали Лиздейкой, що в перекладі з литовського означає гніздо. А ось місце, де князь знайшов дитину, стало називатися Вяркяй – від литовського слова «вяркти», тобто плакати.

У Вільнюському регіональному парку Вяркяй знаходиться архітектурно-історичний пам'ятник 17 століття, Вяркяйский палац. Палац має дуже цікаву історію. В 1387 році, католицький єпископ отримав у подарунок від польського короля Владислава II Ягайла селище Вяркяй. Незабаром тут був побудований дерев'яний палац, навколо якого був облаштований парк. У палаці влаштувалася літня резиденція єпископа.

В 1658 році, під час битви польського війська, керованого гетьманом Ст. Гонсевским, з російським військом під керівництвом Ю. Долгорукого, палац сильно постраждав, і поступово став руйнуватися. У 1700 році на місці колишнього дерев'яного палацу був побудований кам'яний палац, виконаний у стилі бароко. Декількома роками пізніше, в 1705 році в палаці брали Петра I.

У 1779 році палац став приватною власністю Вільнюського єпископа Ігнатія Масальского. 1780 році єпископ вирішив провести капітальну перебудову палацу. Спочатку реконструкцією займався архітектор М. Кнакфус.

Через рік будівництво було доручено архітектору Л. Стуока-Гуцявичюсу. Він кардинально змінив первісний план, і став будувати палац у стилі класицизму. Роботи тривали аж до 1792 року. Але вони так і не були повністю завершені. В країні почалася політична нестабільність. Незабаром єпископ подарував Вяркяйский палац Олені Масальський, своєї племінниці. Вона, в свою чергу, продала його маршалу С. Ясеньскому. З-за фінансової недостатності, маршал теж не закінчив будівництво. У 1812 році, присутність у краї наполеонівських військ привнесло свою негативну лепту в складну долю Вяркяйского палацу. У 1840 році палац був придбаний російським генерал-фельдмаршалом П. Вітґенштейном, який зумів завершити будівництво.

Палацовий комплекс мав підковоподібний вигляд. Навколо овального басейну, прикрашеного фонтаном, було збудовано три будівлі. Центральне будова палацу було двоповерховим, прикрашено портиком з шістьма іонічними колонами, а також пілястрами того ж ордера. На фронтоні головного портика перебували рельєфи, що зображують сільські роботи. Вікна переднього фасаду були прикрашені сандриками і наличниками. Ведуча до парадного входу дорога була звивистою і витончено огибала фонтанну майданчик. Ансамбль виглядав особливо мальовничо з відстані: пишна рослинність парку, розташованого на пагорбі, надавали будівлям вид надійності і затишку.

Палац у Вяркяй був тоді, і залишається по сьогоднішній день монументальною спорудою: довжина центрального будинку становить 85 метрів, а ширина - 10 метрів. В самому центрі головного будівлі знаходиться просторий парадний зал з видом на сад. Це приміщення призначалося для театральних вистав. Передбачалося, що на уявленнях будуть присутні гості з різних місць, тому з двох сторін залу були розташовані вітальні. Зал був прикрашений нішами для скульптур, розташованими з чотирьох сторін, симетрично. Над дахом палацу, в області центрального залу був встановлений мідний, еліпсоїдної купол. На поверхні стелі головного вестибюля перебувала розпис 19 століття пензля Р. Беккера «Амур і Психея», яка в даний час повністю відреставрована.

Після Другої світової війни радянська влада націоналізувала Вяркяйский палац, і передало його у відання Академії наук Литовської РСР. Сьогодні будівля Вяркяйского палацу займає Інститут ботаніки при Литовської Академії наук.