Јеврејски историјски музеј има велики архив са око 1000 дужних метара грађе. Архив садржи грађу везану за живот и рад Савеза јеврејских општина и појединих јеврејских општина бивше Југославије пре Другог светског рата, јеврејску предратну штампу, грађу везану за антисемитизам и Холокауст (1941 – 1945), грађу Савеза и појединих јеврејских општина из периода после 1945. године до распада Југославије 1992. године, као и хемеротеку. Осим документације и фото-документације, архив обухвата две електронске базе података – жртве Холокауста са територије целе бивше Југославије и јеврејске матичне књиге Београда.