Вілла Хайма Френкеля була побудована в 1908 році за задумом господаря фабрики шкіряних виробів Хайма Френкеля. Вілла передбачалася стати будинком для сім'ї майстра шкіряних виробів. Сім'я Френкеля прожила тут багато років, але сталося так, що в 1920 році на віллі з'явилася єврейська приватна гімназія, яка перебувала там до 1940 року. У часи Другої світової війни тут був розташований німецький госпіталь, а потім і радянська лікарня.

У 1994 році в будинку був відкритий музей. У палаці знаходяться дві експозиції: одна присвячена провінції 19-20 століття, а інша – єврейської культурної спадщини у Шауляй. У будинку є дві вітальні: Синя і Жовта, три виставково-інтер'єрних залу, а також бібліотека. Музейну роботу ведуть галереї: «Королівська», «Мистецтва Сходу» і «Дворянських портретів».