Оригінальний Єврейський музей Відня був заснований в 1896 році і був першим музеєм такого роду в світі. Музей існував за підтримки «Товариства для збору та збереження мистецьких та історичних пам'яток єврейства». Він був зосереджений на історії і культури євреїв в Австро-Угорській імперії. Його колекція предметів і виробів з Палестини також відображала політичну дискусію про сіонізм. Музей був закритий відразу після захоплення Австрії нацистами. В останній рік свого існування він мав 6474 різних експонатів. У 1939 році вони були передані в музей етнології та інші установи.

Більшість речей були повернуті єврейській громаді на початку 1950-х років, але деякі вдалося повернути тільки в 1990-і роки. Багато експонатів було втрачено. Коли у Новому єврейському музеї була проведена інвентаризація, виявилося, що половина оригінальних предметів зникло. Зате залишилися речі є дуже рідкісними експонатами, що представляють собою як предмети повсякденного побуту, так і унікальні матеріали.

31 грудня 1964 року маленький єврейський музей відкрився в недавно побудованому будинку на Темпелгассе, але не отримав майже жодного суспільної уваги. Через 3 роки музей вже закрився.

Перша виставка нового Єврейського музею Вени відкрилася 7 березня 1990 року у тимчасових приміщеннях в офісах єврейської громади. Значна частина виставки була складена з колекції Макса Бергера. У 1992 році музей переїхав у свій нинішній будинок в палац Эскелес на Доротеегассе. Відкриття музею відбулося лише через рік, у 1993 році. Бібліотека була відкрита для публіки з 1994 року.

З осені 2011 року музей відчинив свої двері після повної реконструкції, як самого будинку, так і оновлення постійної експозиції. Після ремонту Єврейський музей зустрічає відвідувачів нової освітлювальною установкою, яка була зроблена у відповідності з оригіналом. Постійні виставки в музеї розташовуються в трьох зонах.