Bagian dalam permen yang seperti jeli mirip dan mirip dengan permen [[lokum]] yang sudah dibuat orang [[Turki]] sejak ratusan tahun yang lalu. Bagian luar yang keras berkilap mirip dengan permen kacang [[badam Yordan]] (''jordan almonds'') bersalut gula produk [[abad ke-17]]. Hingga kini belum ditemukan literatur tentang pembuat permen kacang jeli yang pertama. Namun pastinya kacang jeli pertama kali dibuat di [[Amerika Serikat]]. Bukti tertua tentang asal-usul kacang jeli modern adalah iklan kacang jeli yang dibuat [[Schrafft's|William Schrafft]], perusahaan permen dari [[Boston]] semasa [[Perang Saudara Amerika]]. Iklan tersebut mempromosikan permen kacang jeli sebagai hadiah bagi prajurit yang bertugas bagi [[Tentara Union]].<ref name='UCJB'>{{cite news | first=Jeanna | last=Miller | coauthors= | title=Spring brings jelly bean fever | date=28 Maret 2002 | publisher=University of St. Cloud, Minnesota | url=http://media.www.universitychronicle.com/media/storage/paper231/news/2002/03/28/Diversions/Spring.Brings.Jelly.Bean.Fever-225153.shtml | work =University Chronicle | pages = | accessdate = 6 Juli 2008 | language = }}</ref> Sejak tahun [[1930-an]], kacang jeli mulai dikaitkan dengan perayaan Paskah. Alasannya mungkin warna-warni permen jeli mirip dengan warna-warni [[telur Paskah]].<ref>{{cite web |url=http://www.candyfavorites.com/shop/jelly-bean-history.php |title=A Brief History of Jelly Beans |accessdate=6 Juli 2008 |last= |first= |coauthors= |date= |work= |publisher=CandyFavorites.com}}</ref>
