Tissot lahir di kota pelabuhan [[Nantes]], [[Perancis]], [[Eropa]], dan besar di sana. Ayahnya, Marcel Théodore Tissot, merupakan seorang pedagang kain tirai yang sukses. Ibunya, Marie Durand, membantu suaminya dalam bisnis keluarga serta mendesain topi. Ibunya seorang Katolik saleh, menanamkan kesalehan beribadah pada anaknya. Masa muda Tissot di Nantes nampaknyatampaknya berpengaruh pada seringnya ia melukis perahu dan kapal pengangkutan pada karya-karya akhirnya. Keterlibatan orangtuanya pada industri pakaian dinilai mempengaruhi gaya lukisannya, terutama detail pelukisan pakaian wanita. Ketika Tissot berusia 17 tahun, ia memastikan hendak mengejar karier sebagai pelukis. Ayahnya menentang minat ini, karena lebih suka anaknya berkarier dalam bidang bisnis, tetapi ibunya mendukung cita-citanya ini. Sekitar masa itu ia mengambil nama "James" dan sejak tahun 1854 lebih dikenal sebagai James Tissot, mungkin karena pertumbuhan minatnya pada budaya Inggris.<ref name=ODNB>{{citation |first=Krystyna |last=Matyjaszkiewicz |title=Tissot, Jacques Joseph (1836–1902)|journal=Oxford Dictionary of National Biography |publisher=Oxford University Press |year=2011 |url=http://www.oxforddnb.com/view/article/68966 |accessdate=5 July 2014 |subscription=yes}}</ref>
