Berlin dilahirkan dengan nama '''Israel Isidore Baline'''<ref>[{{Cite web |url=http://www.ellisisland.org/genealogy/ellis_island_famous_arrivals.asp |title=Famous Ellis Island passenger arrivals] |access-date=2007-01-03 |archive-date=2006-05-25 |archive-url=https://web.archive.org/web/20060525120420/http://www.ellisisland.org/genealogy/ellis_island_famous_arrivals.asp |dead-url=yes }}</ref> dalam sebuah keluarga [[Yahudi]] di [[Tyumen]], [[Rusia]] (menuut sumber lainnya{{fact}} kemungkinan [[Mogilev]], kini bagian dari [[Belarus]]).<ref name="Tormé">{{cite web |last =Bloom|first =Nate|authorlink =|coauthors =|title=The Jews Who Wrote Christmas Songs|publisher =InterfaithFamily|date =19 Des. 2006 |url =http://www.interfaithfamily.com/site/apps/nl/content2.asp?c=ekLSK5MLIrG&b=297399&ct=3303147|format =|accessdate =19 Des. 2006 }}</ref> Keluarganya berimigrasi ke [[Amerika Serikat]] pada 1891. Orangtuanya bernama Leah (Lena) Yarchin dam Moses Baline; ayahnya adalah seorang [[rabi]] yang memperoleh pekerjaan dengan memberikan sertifikat [[kosher]] meat.<ref>{{Cite web |url=http://www.nydailynews.com/city_life/big_town/v-bigtown_archive/story/209553p-180590c.html |title=Arsip ''New York Daily News'' |access-date=2007-01-03 |archive-date=2006-02-10 |archive-url=https://web.archive.org/web/20060210102602/http://www.nydailynews.com/city_life/big_town/v-bigtown_archive/story/209553p-180590c.html |dead-url=yes }}</ref>
Setelah ayahnya meninggal dunia pada 1896, Irving harus bekerja untuk bisa tetap bertahan. Ia melakukan berbagai pekerjaan di jalanan, termasuk menjual surat kabar dan [[busking]]. Realitas ekonomi yang keras sehingga ia harus bekerja atau kelaparan, menimbulkan dampak yang sangat mendalam terhadap cara Berlin memperlakukan uang. Sementara bekerja sebagai pelayan yang bernyanyi di Kafe Pelham di [[Pecinan]], Berlin ditanyai oleh si pemilik untuk mengarang sebuah lagu asli untuk kafenya karena kedai saingannya mempunyai lagu mereka sendiri yang diterbitkan. Hasilnya adalah "Marie from Sunny Italy", yang kemudian segera diterbitkan. Meskipun lagu itu hanya memperoleh bayaran 37 sen, uang itu memberikan kepadanya sebuah karier yang baru dan nama yang aru pula: Israel Baline keliru dicetak sebagai "I. Berlin" di kertas musiknya.
