Khalid adalah putra [[Abdullah bin Khalid bin Asid]] dan mereka termasuk anggota [[Dinasti Umayyah|Bani Umayyah]] dari keturunan Asid bin Abi al-Ish. Ibunya adalah putri dari [[Syaibah bin 'Utsman|Syaibah bin Utsman al-Abdari]] yang dipanggil dengan nama Ummu Hajar.<ref>{{Cite Q|Q114665392|volume=5|page=458|via=[[Maktabah Syamilah]]}}</ref> Khalid tinggal di [[Bashrah]].{{sfn|Al-Ya'qubi|2018|p=917, catatan 1779}} Pada awal [[Perang Saudara Islam II|Fitnah Kedua]] dan kekuasaan Bani Umayyah runtuh di [[Irak]], Khalid menjadi pendukung [[Mush'ab bin az-Zubair]], yang telah diangkat menjadi gubernur Bashrah oleh kakaknya [[Abdullah bin az-Zubair]].{{sfn|Al-Ya'qubi|2018|p=917, catatan 1779}}
Ia kemudian membelot ke kerabatnya yang berada di [[Damaskus]], Khalifah [[Abdul Malik bin Marwan]] (berkuasa 685–705). Abdul Malik mengangkatnya menjadi gubernur Bashrah meskipun masih dikuasai Mush'ab.{{sfn|Al-Ya'qubi|2018|p=917, catatan 1779}} Khalid mendapat dukungan dari [[Malik bin Misma' al-Bakri|Malik bin Misma']] beserta beberapa penunggang kuda dari suku [[Bani Bakr bin Wa'ilBakar|Bani Bakr]]. Mereka lalu pergi ke al-Jufrah, sebuah tempat di Bashrah, dan karenanya nama kelompok mereka adalah Jufriyah.{{sfn|Fishbein|1990|pp=172–173}}{{sfn|Bosworth|1977|p=361}} Pada tahun 688/89 atau 689/90, Khalid dan Jufriyah memberontak melawan Zubairiyah dan pendukungnya, tetapi mereka berhasil mengalahkan pemberontak pro-Umayyah dan Mush'ab kemudian memberikan hukuman berat terhadap pasukan yang terkait dengan kelompok tersebut.{{sfn|Fishbein|1990|pp=172–173}}{{sfn|Bosworth|1977|p=361}} Khalid kemudian berpartisipasi dalam [[Pertempuran Maskin]] di mana Mush'ab terbunuh pada tahun 691.{{sfn|Al-Ya'qubi|2018|p=917, catatan 1779}} Setelah itu, dia diangkat kembali menjadi gubernur Bashrah.{{sfn|Al-Ya'qubi|2018|p=917, catatan 1779}}{{sfn|Ahmed|2010|p=123}} Sebagai pemimpin pasukan Bashrah, ia memimpin perang melawan [[Khawarij]] cabang [[Azariqah]] serta mengambil alih komando dari [[Al-Muhallab bin Abi Shufrah]]. Namun, ia terbukti tidak mampu melakukan tugas tersebut dan diberhentikan dari jabatan gubernur demi saudara laki-laki khalifah, [[Bisyr bin Marwan]], yang juga tidak berhasil dan meninggal pada tahun 694.{{sfn|Wellhausen|1927|p=227}} Kemudian, pada tahun 711/12, Khalid diangkat menjadi gubernur [[Makkah]] oleh Khalifah [[Al-Walid bin Abdul Malik]] (berkuasa 705–715).{{sfn|Al-Ya'qubi|2018|p=917, catatan 1779}} Cucunya, Utsman bin Yazid, adalah anggota istana Al-Walid menjelang akhir pemerintahannya.{{sfn|Hinds|1990|p=220}}
