Bangsa Yahudi sering menghadapi pelbagai serangan dan pengusiran akibat tindakan mereka yang sering melanggar perintah Allah SWT. Tindakan mereka yang sering melakukan pelanggaran ini menyebabkan mereka sering diusir dan ditimpakan pelbagai bencana ke atas mereka. Pengusiran Yahudi ini telah banyak kali ditimpakan kepada mereka. Terdapat dua pengusiran yang besar dalam catatan sejarah sepanjang sejarah Yahudi ini.

Pengusiran pertama berlaku ketika sekitar tahun 587/586 SM. Nebuchadnezzar II merupakan raja Babylon pada waktu itu telah melakukan penyerangan ke atas kerajaan Yahudi pada waktu itu. Kerajaan Yahudi yang pada waktu itu terpecah dua telah diranapkan oleh Nebuchadnezzar II. Keseluruh Yahudi pada waktu itu dijarah dan dikeluarkan dari Jurusalem dan diarahkan ke Babylon. Penjarahan kali pertama ini dikenali sebagai pengusiran pertama untuk kaum Yahudi.

Pengusiran Yahudi dari tanah Jurusalem ini kemudiannya berakhir pada era Cyrus The Great yang mengembalikan kaum Yahudi ke Jurusalem semula pada tahun 539 SM. Bukan sekadar itu, Cyrus The Great telah membinakan mereka rumah ibadat untuk mereka sama seperti pada era Nabi Sulaiman AS. Namun, mereka menyeleweng dekrit dan arahan Cyrus The Great ini dan membina rumah ibadat yang lebih besar dari zaman Nabi Sulaiman AS. *perangai yahudi kan*.

Pendudukan Yahudi di Jurusalem ini kemudiannya sekali lagi diganggu dengan pendudukan Rom di Jurusalem. Kali ini mereka dijajah dibawah pentadbiran Rom. Mereka tidak berpuas hati dengan dasar Rom di tanah mereka ini. Simon Bar Kokhba mengisytiharkan perjuangan menentang Rom di Jurusalem (132–135 M). Raja Hadrian telah mengirim pasukan tenterannya untuk menaklukkan Jurusalem dari Bar Kokhba ini.

Akhirnya, pasukan Yahudi ditewaskan dan Jurusalem dijajah oleh pihak Rom dan nama Judea telah diubah menjadi Aelia Capitolina. Kaum Yahudi pula diusir besar besaran keluar dari tanah Jurusalem dan kaum Yahudi ini tidak dibenarkan kembali ke tanah ini. Maka, berlakulah diaspora kaum Yahudi ini secara besar besaran ke seluruh dunia.

Dan salah satu tanah mereka pergi adalah Yathrib. Mereka menumpang di sana bersama dengan penduduk Arab di sana. Di Yathrib pula, seperti biasa Yahudi tetap Yahudi. Mereka melagakan bangsa Arab di sana pula, Aus dan Khazraj dilagakan dan akhirnya dua suku Arab ini disatukan oleh Rasulullah SAW.

Menjelang era Khalifah Umar Al-Khattab, kaum Yahudi ini kemudiannya dibenarkan pulang ke Jurusalem setelah mereka diusir dari tanah Jurusalem semenjak pemberontakan Bar Kokhba. Khalifah Umar juga membenarkan kaum Yahudi untuk menghidupkan kembali ibadat mereka dan komuniti mereka. Pada era ini, Khalifah Umar telah membenarkan Yahudi, Kristian dan Islam hidup dalam sebuah komuniti bersama.