Ali dibunuh pada usia 62 atau 63 tahun oleh seorang loyalis [[Khawarij]], [[Ibnu Muljam]], yang ingin balas dendam atas [[Pertempuran Nahrawan]].<ref name=VecciaAli>{{EI2 |last=Veccia Vaglieri |first=Laura |author-link=Laura Veccia Vaglieri |title=ʿAlī b. Abī Ṭālib |volume=1 |pages=381–386}}</ref><ref>{{cite book |last=Wellhausen |first=Julius |author-link=Julius Wellhausen |date=1901 |title=Die religiös-politischen Oppositionsparteien im alten Islam |language=de |url=https://archive.org/details/in.ernet.dli.2015.358135 |publisher=Weidmannsche Buchhandlung |location=Berlin |oclc=453206240|page=18}}</ref> Laporan lain menunjukkan bahwa Ibnu Muljam, bersama dengan dua orang KarijiteKhawarij lainnya, memutuskan untuk membunuh Ali, [[Mu'awiyah bin Abu Sufyan|Mu'awiyah]], dan [[Amr bin Ash]] secara bersamaan untuk menyingkirkan Islam dari ketiga orang tersebut, yang menurut pandangan mereka, bertanggung jawab atas perang saudara. Namun, dari ketiga orang yang ditargetkan, hanya Ali yang berhasil dibunuh.<ref name=VecciaAli/> Tanggal kematian Ali dilaporkan berbeda. Menurut [[Al-Shaykh Al-Mufid|Syekh al-Mufid]], Ali ditusuk pada tanggal 19 [[Ramadan]] 40 H (26 Januari 661 M) dan meninggal dua hari kemudian.<ref>{{cite encyclopedia |last=Veccia Vaglieri |first=Laura |author-link=Laura Veccia Vaglieri |date=1986 |title=Ibn Muld̲j̲am |encyclopedia=[[Encyclopaedia of Islam]] |edition=second |publisher=[[Brill Publishers]] |isbn=90-04-08118-6 |volume=3 |location=Leiden |pages=887–90 }}</ref> Seluruh sumber, baik [[Syiah]] maupun [[Sunni]] sepakat bahwa Ali melarang putra-putranya membalas dendam kepada sekte [[Khawarij]] dan malah menetapkan apabila dia selamat, Ibnu Muljam akan diampuni sedangkan jika dia meninggal, Ibnu Muljam harus diberikan hanya satu pukulan yang sama, terlepas dari apakah dia mati atau tidak karena pukulan itu.<ref>{{cite book |last=Kelsay |first=John |date=1993 |title=Islam and War: A Study in Comparative Ethics |publisher=Westminster John Knox Press|page=92|isbn=978-0-664-25302-8}}</ref> Putra tertua Ali, [[Hasan bin Ali|Hasan]], mengikuti instruksi ini dan Ibnu Muljam dieksekusi sebagai pembalasan.{{sfn|Madelung|1997|page=309}}
