Pucuk pimpinan adalah seorang Shosho ({{nihongo|Mayor Jenderal)Jendral|少将|Shōshō}} dengan {{nihongo|Kolonel|大佐|Taisa (Kolonel)}} sebagai Pejabat Eksekutif dan terdiri dari dua atau tiga kantor cabang, yang masing-masing dipimpin oleh Chusa ({{nihongo|Letnan Kolonel)|中佐|Chūsa}} dengan jumlah personel sekitar 375 orang.
Kantor cabang pada gilirannya dibagi menjadi 65 orang yang disebut 'buntai'. Setiap kelompok dipimpin oleh {{nihongo|Kapten|大尉|Tai-'i (Kapten)}} dengan {{nihongo|Letnan Satu|中尉|Chu-'i (Letnan 1)}} sebagai Pejabat Eksekutif dan 65 tentara lainnya. Buntai ini lebih lanjut dibagi menjadi detasemen disebut bunkentai, diperintahkan oleh {{nihongo|Letnan Dua|少尉|Sho-'i (Letnan 2)}} dengan Junshikan (WaranWarrant Officer, Pembantu Letnan Dua) sebagai Pejabat Eksekutif dan 20 tentara lainnya. Detasemen Masing-masing berisi tiga regu: regu{{nihongo|unit polisi|班 atau警務|Han han keimuKeimu}}, pasukan{{nihongo|unit administrasi|班 atau内勤|Han han naikinNaikin}}, dan tugas-tugas{{nihongo|unit khusus|班 regu atau han特務|Han Tokumu}}.
Beberapa unit Kempetai berasal dari penduduk lokal yang daerahnya di duduki. Merupakan pasukan resmi Kempeitai dan dianggap bagian dari organisasi, tetapi hanya memiliki pangkat tertinggi pShocho ({{nihongo|Sersan Mayor)|曹長|Sōchō}}.
Para tahun 1937 Kempeitai memiliki 315 perwira dan 6000 prajurit. Mereka dikenal sebagai Disipliner Sipil. Sekutu diperkirakan bahwa pada akhir Perang Dunia II, setidaknya ada 75.000 anggota Kempeitai, termasuk personel yang menyamar.
