Pada malam tanggal 21 September 1970, ketika Sumaridjem berjalan pulang melalui Jalan Patuk seusai berdagang, sebuah mobil tiba-tiba berhenti di dekatnya. Sekelompok pemuda turun dari mobil dan langsung menariknya paksa kedalam mobil. Di dalam mobil, Sumaridjem diancam dengan belati, dibius, uangnya dirampas, dan diperkosa beramai-ramai. Setelah itu, dia dibuang di Jl. Wates-Purworejo, Gamping.<ref name=":0" /><ref name=":1">{{Cite book|last=Kamadjaja|date=1971|url=https://books.google.co.id/books?id=JfkJAQAAIAAJ&q=Sum+Kuning&dq=Sum+Kuning&hl=id&sa=X&ved=2ahUKEwjS3YzL2IHwAhXNT30KHUoBD5kQ6AEwAHoECAIQAw|title=Sum Kuning, korban pentjulikan, pemerkosaan: proses perkaranja dengan tuduhan telah menjiarkan kabar bohong|publisher=U.P. Indonesia|language=id|url-status=live}}</ref>
Melalui Imam Sutrisno, seorang wartawan ''[[Kedaulatan Rakyat]]'', kejadian itu dilaporkan ke Polisi Militer, Denpom VII/2. Kasus ini merebak menjadi berita besar di dalam dan luar Yogyakarta, dan pada saat inilah Sumaridjem dikenal dengan nama Sum Kuning. Pihak penegak hukum terkesan mengalami kesulitan untuk membongkar kasusnya hingga tuntas. Pada 28 September 1970, muncul kabar bahwa para pemerkosa Sum akan diarak walau sebenarnya para pelaku belum tertangkap. Muncul dugaan publik bahwa para pemerkosa adalah "anak-anak orang terkemuka" karena "Hanya orang-orang terkemuka dan orang-orang kayalah yang memiliki mobil" pada masa itu.<ref name=":1" />
Sumaridjem sempat dituntut oleh jaksa telah memberi keterangan palsu dengan sanksi tiga bulan penjara. Tuntutan tersebut ditolak oleh hakim dan Sum dibebaskan dari tuduhan. Seorang pedagang bakso keliling dijadikan kambing hitam dan dipaksa mengaku sebagai pelakunya.
