Kota ini ditata sebagai kota kastil di sekitar Istana Edo, yang terletak di ujung [[Teras Musashino|Teras Musashino]]. Area di sekitar kastil terdiri dari tempat tinggal samurai dan "daimyō", yang keluarganya tinggal di Edo sebagai bagian dari sistem "[[sankin-kōtai]]"; para daimyo melakukan perjalanan dalam beberapa tahun ke Edo dan menggunakan tempat tinggal untuk rombongan mereka. Lokasi setiap tempat tinggal dengan hati-hati dikaitkan tergantung pada posisi mereka sebagai [[Tozama daimyō|''tozama'']], ''[[Shinpan (daimyo)|shinpan]]'' atau [[Fudai daimyō|''fudai'']]. Organisasi kota yang luas untuk kelas samurai inilah yang menentukan karakter Edo, khususnya berbeda dengan dua kota besar Kyoto dan [[Osaka]], yang keduanya tidak diperintah oleh "daimyō" atau memiliki populasi samurai yang signifikan. Karakter Kyoto ditentukan oleh Istana Kekaisaran, [[kuge|bangsawan istana]], kuil Buddha, dan sejarahnya; Osaka adalah pusat komersial negara, didominasi oleh ''[[chōnin]]'' atau kelas pedagang. Sebaliknya, tempat tinggal samurai dan "daimyō" menempati hingga 70% wilayah Edo. Di sisi timur dan timur laut istana tinggal {{Nihongo|''Shomin''|庶民|4="regular people"}} termasuk "chōnin" di daerah yang jauh lebih padat penduduknya daripada daerah kelas samurai, diorganisir dalam serangkaian komunitas berpagar yang disebut ''machi'' (町, "town" or "village"). Area ini, [[Yamanote dan Shitamachi|Shitamachi]] (下町, "lower town" atau "lower towns"), adalah pusat budaya perkotaan dan pedagang. Shomin juga tinggal di sepanjang jalan utama yang menuju dan keluar kota. Sungai Sumida, kemudian disebut Sungai Besar (大川, ''Ōkawa''), berlari di sisi timur kota. Gudang penyimpanan beras resmi keshogunan<ref>Pajak, dan tunjangan samurai, dibayarkan bukan dalam [[Uang|koin]], tetapi dalam beras. Lihat ''[[koku]]''.</ref> dan bangunan resmi lainnya berlokasi di sini.
[[File:Hiroshige le pont Nihonbashi à l'aube.jpg|thumb|Nihonbashi di Edo, cetakan ''[[ukiyo-e]]'' oleh [[Hiroshige]]|alt=Ilustrasi orang menyeberangi Jembatan kayu Edo]]
