Irmscher belajar botani di Leipzig dan menyelesaikan gelar doktornya di [[Moose]]. Di Berlin dari tahun 1912 hingga 1919 ia menjadi asisten [[Adolf Engler]] di [[Museum Botani Berlin|Museum Botani Berlin]]. Dari tahun 1919 hingga 1943 ia bekerja sebagai kurator di Institut Botani Umum di Hamburg. Ia menyelesaikan habilitasi pada tahun 1919 dan menerima gelar profesor pada tahun 1923. Pada tahun 1933 ia bergabung dengan [[NSDAP]] dan pada bulan November 1933 menandatangani [[komitmen profesor Jerman untuk Adolf Hitler]]. Dari tahun 1936 hingga 1938 Irmscher adalah kepala staf pengajar dan pemimpin [[NS-Dozentbund]] di Hamburg. Dari November 1936 hingga November 1938 ia adalah Gaudozentenbundführer Hamburg, tetapi harus mengundurkan diri setelah perselisihan dengan Gauleiter [[Karl Kaufmann (Gauleiter)|Karl Kaufmann]].
