Pada awalnya, Yon bersama keempat saudaranya, John, [[Tonny Koeswoyo|Tonny]], [[Nomo Koeswoyo|Nomo]], dan [[Yok Koeswoyo|Yok]] membentuk sebuah grup musik keluarga pada tahun 1958, beranggotakan mereka sendiri meliputi John sebagai pemain bass betot, Tonny sebagai pemain gitar, Nomo sebagai pemain drum, serta Yok dan Yon sendiri pada vokal. Mereka juga sempat dibantu oleh beberapa rekan seperti [[Tommy Darmo]] dan [[Jan Mintaraga]] yang bergabung dalam band, sampai akhirnya keduanya mengundurkan diri pada tahun 1963. Grup musik ini awalnya bernama '''Koes Brothers''' dan disebut-sebut terinspirasi dari grup musik duet "Kalin Twins" dan kemudian [[Everly Brothers]]. John sebagai kakak tertua kemudian mengundurkan diri pada tahun 1964, sehingga menyisakan Yon, Tonny, Nomo, dan Yok, nama grup musik kemudian diganti menjadi "'''Koes Bersaudara'''", Yon tetap berperan sebagai vokalis utama dan kali ini juga merangkap memainkan ''rythm guitar''.<ref>https://www.grid.id/read/043598371/john-koesyowo-meninggal-dunia-di-usia-90-tahun-berikut-profil-basis-koes-bersaudara-yang-sempat-kerja-di-perusahaan-kontraktor?page=all</ref><ref>https://radartuban.jawapos.com/entertainment/864939565/koes-bersaudara-cikal-bakal-koes-plus-dipengaruhi-genre-musik-rolling-stone-the-beatles-everly-brothers</ref> Yon sejak awal memang diproyeksikan oleh Tonny untuk menjadi vokalis karena memiliki suara yang bagus, Yon tidak pernah secara khusus diajari oleh Tonny untuk memainkan alat musik gitar, kemampuannya bermain gitar dipelajarinya secara otodidak dengan mengamati permainan gitar Tonny.
Koes Bersaudara sempat berkarya dan menghasilkan beberapa album sampai akhirnya mereka ditangkap oleh aparat dan dipenjara pada tahun 1965, karena dianggap memopulerkan lagu-lagu bernuansa barat atau disebut "ngak ngik ngok" oleh rezim Presiden Soekarno kala itu. Akan tetapi, mereka berempat hanya ditahan beberapa waktu sampai akhirnya dibebaskan sehari sebelum terjadinya [[Gerakan 30 September|G30S-PKI]] tanpa alasan yang jelas, Yon dan ketiga saudaranya pun kembali berkarya melanjutkan grup musik mereka.
