Yahudi Muzium Vienna asal ditubuhkan pada tahun 1896 dan merupakan muzium pertama seumpamanya di dunia. Muzium ini telah wujud dengan sokongan daripada "Persatuan untuk pengumpulan dan pemeliharaan seni dan sejarah monumen Yahudi." Beliau memberi tumpuan kepada sejarah dan budaya Yahudi di dalam Empayar Austria-Hungary. Koleksi objek dan produk dari Palestin juga mencerminkan perdebatan politik mengenai Zionisme. Muzium ini telah ditutup serta-merta selepas pendudukan Austria oleh Nazi. Pada tahun lepas kewujudannya, ia mempunyai 6474 item yang berbeza. Pada tahun 1939 mereka telah dipindahkan ke Muzium Etnologi, dan institusi lain.

Kebanyakan barangan itu dikembalikan kepada masyarakat Yahudi pada awal tahun 1950-an, tetapi beberapa berjaya kembali hanya pada tahun 1990 tahun. Banyak pameran telah hilang. Apabila Muzium New Yahudi mempunyai inventori, didapati bahawa separuh daripada item asal telah hilang. Tetapi yang lain daripada perkara-perkara yang barang kes yang sangat jarang berlaku yang mewakili sebagai objek kehidupan seharian, dan bahan-bahan yang unik.

31 Disember 1964 sebuah muzium Yahudi kecil telah dibuka di bangunan yang baru dibina di Tempelgasse, tetapi menerima hampir tiada perhatian orang ramai. Selepas 3 tahun muzium telah ditutup.

Pameran pertama daripada Muzium Yahudi Vienna baru dibuka 7 Mac 1990 di premis sementara di pejabat masyarakat Yahudi. Sebahagian besar pameran terdiri daripada koleksi Dagangan Berger. Pada tahun 1992 muzium berpindah ke rumah semasa di istana Eskeles Doroteegasse itu. Muzium ini dibuka setahun kemudian, pada tahun 1993. Perpustakaan ini telah dibuka kepada orang ramai sejak tahun 1994.

Sejak musim luruh 2011, muzium ini dibuka selepas pengubahsuaian yang lengkap, seperti bangunan itu sendiri, dan mengemas kini pameran tetap. Muzium Yahudi diubahsuai mengalu-alukan pelawat untuk sistem lampu yang baru, yang telah dibuat mengikut yang asal. Pameran tetap di muzium yang terletak di tiga zon.