Suatu ketika Khalifah Harun Ar-Rasyid meminta uang dengan jumlah yang tidak banyak kepada keluarga Barmak, namuntetapi mereka tidak menghiraukanya sehingga khalifah Harun Ar-rasyid berpendapat bahwa sudah saatnya keluarga ini diberikan sangsi dengan kesalahan sering membelanjakan [[uang]] [[negara]] dan bertindak semaunya. Maka pada hari yang telah ditentukan, Khalifah Harun Ar-rasyid memerintahkan pembunuhan atas Ja'far bin Yahya selaku [[ketua]] keluarga pada saat itu dan yang lainnya dimasukkan ke dalam [[penjara]] sampai waktu yang ditentukan. Dalam beberapa versi juga disampaikan bahwa khalifah Harun Ar-Rasyid menghancurkan dan memusnahkan eksistensi keluarga Barmak pada tahun 187 H/802 M dengan sebab-sebab yang sebenarnya tidak jelas.<ref name="sejarah islam ">{{cite book|title=Sejarah Islam, sejak zaman nabi Adam hingga abad XX|author=Ahmad Al-usairy|publisher=Akbar Media}}</ref> Keluarga Barmak memainkan peran yang penting dalam pemerintahan kerajaan [[Bani Abbasiyah]] selama 17 tahun, khususnya di bidang keuangan dan ketenteraan atau [[keamanan]].
