Downey lahir [[Manhattan]], [[New York City]], yang lebih muda dari dua bersaudara. Ayahnya, [[Robert Downey Sr.]], adalah seorang aktor dan pembuat film, sedangkan ibunya, Elsie Ann (née Ford), adalah seorang aktris yang muncul di film Downey Sr..<ref>{{cite web|first=Natalie|last=Finn|title=Ibu Robert Downey Jr. Meninggal: Baca Penghormatannya yang Jujur dan Terindah untuk Elsie Ann Downey|url=http://www.eonline.com/news/583342/robert-downey-jr-s-mother-dies-read-his-moving-candid-tribute-to-elsie-ann-downey|publisher=[[E!]]|accessdate=5 November 2014|date=26 September 2014|archive-url=https://web.archive.org/web/20141030135231/http://www.eonline.com/news/583342/robert-downey-jr-s-mother-dies-read-his-moving-candid-tribute-to-elsie-ann-downey|archive-date=30 Oktober 2014|url-status=live}}</ref> Ayah Downey setengah [[History of the Jews in Lithuania|LithuanianYahudi JewishLithuania]], seperempat [[History of the Jews in Hungary|HungarianYahudi JewishHungaria]], dan seperempat keturunan Irlandia,<ref>{{cite web|first=Erik|last=Hedegaard|url=https://www.rollingstone.com/movies/news/to-hell-and-back-with-robert-downey-jr-20080821|title=To Hell dan Back With Robert Downey Jr.|work=[[Rolling Stone]]|date=21 Agustus 2008|accessdate=8 Mei 2018|archive-url=https://web.archive.org/web/20180509013412/https://www.rollingstone.com/movies/news/to-hell-and-back-with-robert-downey-jr-20080821|archive-date=9 Mei 2018|url-status=live}}</ref><ref>{{cite web|first=Roger|last=Friedman|url=http://www.foxnews.com/story/2003/10/14/mel-gibson-new-passion-is-robert-downey-jr.html|title='Passion' Baru Mel Gibson Adalah Robert Downey Jr.|work=[[Fox News]]|date=14 Oktober 2003|accessdate=10 Mei 2018|archive-url=https://web.archive.org/web/20180416073147/http://www.foxnews.com/story/2003/10/14/mel-gibson-new-passion-is-robert-downey-jr.html|archive-date=16 April 2018|url-status=live}}</ref><ref>{{cite web|first=Kevin|last=West|url=https://www.wmagazine.com/story/robert-downey-jr|title=Robert Downey, Jr? Panggil dia Tn. Clean|work=[[W (magazine)|W]]|date=1 Maret 2007|accessdate=10 Mei 2018|archive-url=https://web.archive.org/web/20180510184118/https://www.wmagazine.com/story/robert-downey-jr|archive-date=10 Mei 2018|url-status=live}}</ref><ref>{{cite web|first=Nate|last=Bloom|url=https://www.jweekly.com/2012/04/12/celebrity-jews-maggie-gyllenhaal-barbara-walters-larry-david-ben-stiller-mo/|title=Selebriti Yahudi: Maggie Gyllenhaal, Barbara Walters, Larry David, Ben Stiller & lainnya|work=[[J. The Jewish News of Northern California]]|date=12 April 2012|accessdate=10 Mei 2018|archive-url=https://web.archive.org/web/20180612141838/https://www.jweekly.com/2012/04/12/celebrity-jews-maggie-gyllenhaal-barbara-walters-larry-david-ben-stiller-mo/|archive-date=12 Juni 2018|url-status=live}}</ref>sedangkan ibu Downey memiliki keturunan Skotlandia, Jerman, dan Swiss.<ref name="hgatesbookref1">{{cite book|last1=Gates|first1=Henry Louis|author-link1=Henry Louis Gates, Jr.|origyear=First published 2014|chapter=Robert Downey Jr.|title=Menemukan Akar Anda: Rekan Resmi Seri PBS|type=|edition=1st|location=|publisher=UNC Press Books|date=15 September 2014|isbn=978-1469618012|lccn=|oclc=|ol=|chapter-url=https://books.google.com/books?id=IDVcBAAAQBAJ&pg=PT187&dq=%22The+Ormay+family+gravestones%22|accessdate=29 Maret 2015|archive-url=https://web.archive.org/web/20170215102917/https://books.google.com/books?id=IDVcBAAAQBAJ&pg=PT187&dq=%22The+Ormay+family+gravestones%22&hl=en&sa=X&ei=i14YVb-LOMOuggSFkoCYBw&ved=0CBsQ6AEwAA|archive-date=15 Februari 2017|url-status=live}}</ref><ref name="times1992">{{cite news |last=Diamond |first=Jamie |title=FILM; Robert Downey Jr. Adalah Chaplin (pada layar) dan seorang Anak (Mati) |url=https://query.nytimes.com/gst/fullpage.html?res=9E0CE2DB1039F933A15751C1A964958260 |work=The New York Times |date=20 Desember 1992 |access-date=18 Februari 2017 |archive-url=https://web.archive.org/web/20090301180045/http://query.nytimes.com/gst/fullpage.html?res=9E0CE2DB1039F933A15751C1A964958260 |archive-date=1 Maret 2009 |url-status=live }}</ref><ref>Dinyatakan pada ''Menemukan Akar Anda dengan Henry Louis Gates Jr.'', PBS, 22 April 2012</ref> Nama keluarga asli Robert adalah Elias yang diubah oleh ayahnya untuk mendaftar di Angkatan Darat.<ref>{{Cite web|url=https://www.hindustantimes.com/hollywood/robert-downey-jr-turns-50-fifty-things-you-should-know-about-him/story-IZwKKn7CRPq4BIdmBN2bTL.html|title=Robert Downey Jr berulang tahun ke-50! Lima puluh hal yang harus Anda ketahui tentang dia|date=14 April 2015|website=HindustanTimes|language=en|access-date=23 Januari 2020|archive-url=https://web.archive.org/web/20190323062837/https://www.hindustantimes.com/hollywood/robert-downey-jr-turns-50-fifty-things-you-should-know-about-him/story-IZwKKn7CRPq4BIdmBN2bTL.html|archive-date=23 Maret 2019|url-status=live}}</ref> Downey dan kakak perempuannya Allyson dibesarkan [[Greenwich Village]].<ref name="toughest">{{cite news |url=http://www.cnn.com/CNN/Programs/people/shows/downey/profile.html |title=Peran terberat aktor |publisher=CNN |accessdate=1 Mei 2008 |year=2004 |archive-url=https://web.archive.org/web/20120129152632/http://www.cnn.com/CNN/Programs/people/shows/downey/profile.html |archive-date=29 Januari 2012 |url-status=live }}</ref>
Sebagai seorang anak, Downey "dikelilingi oleh obat-obatan." Ayahnya, seorang pecandu narkoba, mengizinkan Downey untuk menggunakannya [[Ganja]] pada usia enam tahun, sebuah kejadian yang belakangan disesali oleh ayahnya<ref name="toughest"/> Downey kemudian menyatakan bahwa penggunaan narkoba menjadi ikatan emosional antara dia dan ayahnya: "Ketika ayah saya dan saya akan menggunakan narkoba bersama, itu seperti dia mencoba untuk mengungkapkan cintanya kepada saya dengan satu-satunya cara yang dia tahu." Akhirnya, Downey mulai menghabiskan setiap malam menyalahgunakan alkohol dan."<ref name="Hitting Bottom">{{cite web|url=https://people.com/archive/hitting-bottom-vol-46-no-8/|title=Hitting Bottom|last=Gliatto|first=Tom|date=19 Agustus 1996|accessdate=26 Januari 2011|work=People|archive-url=https://web.archive.org/web/20170102010030/http://people.com/archive/hitting-bottom-vol-46-no-8/|archive-date=2 Januari 2017|url-status=live}}</ref><ref>{{Cite web|url=https://abcnews.go.comhttp//abcnews.go.com/blogs/entertainment/2014/09/robert-downey-jr-talks-about-addiction-and-passing-them-to-his-son|title=Mengapa Robert Downey Jr. Takut Menularkan Kecanduan Narkoba kepada Putranya|website=ABC News|language=en|access-date=21 Juni 2019}}{{Dead link|date=April 2020 |bot=InternetArchiveBot |fix-attempted=yes }}</ref>
