Jevrejski istorijski muzej ima veliki arhiv sa oko 1000 dužnih metara građe. Arhiv sadrži građu vezanu za život i rad Saveza jevrejskih opština i pojedinih jevrejskih opština bivše Jugoslavije pre Drugog svetskog rata, jevrejsku predratnu štampu, građu vezanu za antisemitizam i Holokaust (1941 – 1945), građu Saveza i pojedinih jevrejskih opština iz perioda posle 1945. godine do raspada Jugoslavije 1992. godine, kao i hemeroteku. Osim dokumentacije i foto-dokumentacije, arhiv obuhvata dve elektronske baze podataka – žrtve Holokausta sa teritorije cele bivše Jugoslavije i jevrejske matične knjige Beograda.