Mulanya, ia memulai karirkarier pada April 1934, ia bertugas selama enam bulan di [[kapal penjelajah ringan Karlsruhe]] sebelum bergabung dengan pasukan [[U-Boat]] pada bulan Oktober 1937. Setahun kemudian ia menjadi perwira jaga di U-46. Setelah empat kali patroli di U-46, Topp mengambil alih komando U-57, selama komando ini ia menenggelamkan enam kapal dengan total berat 36.862 ton, sebuah pencapaian yang cukup besar. U-57 tenggelam pada 3 September 1940 setelah bertabrakan dengan kapal [[Norwegia]] Rona. Topp kemudian menugaskan U-Boat VIIC tipe [[U-552]] yang lebih besar, "Perahu setan merah" yang sangat terkenal. Topp mencetak sebagian besar keberhasilannya di [[Atlantik Utara]] melawan konvoi dan di lepas pantai [[Amerika Utara]]. Pada patroli kedelapan yang sangat sukses pada bulan Maret/April 1942, ia menenggelamkan delapan kapal dengan total bobot 45.731 ton. Pada bulan September 1942, Topp menjadi komandan dari 27th Flotilla dimana para kru kapal selam mendapat pelatihan taktik. Topp menulis "Instruksi Pertempuran" untuk tipe XXI yang baru di tahun 1944.<ref>{{Cite journal|date=2023-10-11|title=Kapal selam tipe XXI|url=https://wiki-indonesia.club/w/index.php?title=Kapal_selam_tipe_XXI&oldid=24506712|journal=Wikipedia bahasa Indonesia, ensiklopedia bebas|language=id}}</ref> <ref>{{Cite journal|date=2023-10-31|title=German submarine U-552|url=https://en.wiki-indonesia.club/w/index.php?title=German_submarine_U-552&oldid=1182841534|journal=Wikipedia|language=en}}</ref>
