Tak lama setelah aksesinya, putra dan penerus Abdul Malik, [[al-Walid I]] ({{reign|705|715}}), menunjuk Umar sebagai gubernur Madinah.{{sfn|Cobb|2000|p=821}} Menurut [[Julius Wellhausen]], niat al-Walid adalah menggunakan Umar untuk mendamaikan penduduk kota Madinah dengan pemerintahan Umayyah dan "{{sic|menghilangkan}} ingatan jahat{{sic}}" dari gubernur Umayyah sebelumnya, yaitu [[Hisyam bin Ismail al-Makhzumi]], yang memerintah penduduk Madinah dengan sangat keras.{{sfn|Wellhausen|1927|p=267}} Umar mengambil alih jabatan tersebut pada bulan Februari/Maret 706 dan yurisdiksinya kemudian diperluas ke Makkah dan [[Tha'if]].{{sfn|Cobb|2000|p=821}}
Informasi mengenai pemerintahannya sebagai gubernur sangat sedikit, namun sebagian besar catatan tradisional mencatat bahwa ia adalah "gubernur yang adil".{{sfn|Cobb|2000|p=821}} Dia sering memimpin ibadah [[haji]] tahunan di Makkah dan menunjukkan dukungan terhadap para [[faqih|ulama fikih]] di Madinah, khususnya [[Sa'id bin al-MusayyabMusayyib]].{{sfn|Cobb|2000|p=821}} Umar menoleransi kritik terbuka dari banyak ulama terhadap perilaku pemerintahan Bani Umayyah.{{sfn|Wellhausen|1927|p=267}} Namun, laporan lain menyatakan bahwa Umar memiliki kekayaan yang cukup signifikan pada awal karirnya sebagai gubernur.{{sfn|Cobb|2000|p=821}} Atas perintah al-Walid, Umar melakukan rekonstruksi dan perluasan [[Masjid Nabawi]] di Madinah mulai tahun 707.{{sfn|Cobb|2000|p=821}} Di bawah pemerintahan Umar yang cukup lunak, Hijaz umumnya menjadi tempat perlindungan terbaik bagi orang-orang buangan politik dan agama Irak yang melarikan diri dari penganiayaan [[al-Hajjaj bin Yusuf]], raja muda al-Walid yang berkuasa di bagian timur Kekhalifahan.{{sfn|Cobb|2000|p=821}} Menurut Cobb, hal ini justru menjadi "kehancuran" bagi Umar karena al-Hajjaj menekan khalifah untuk memecat Umar pada bulan Mei/Juni 712.{{sfn|Cobb|2000|p=821}}
