Dalam matematika, sistem nonlinier adalah sistem yang tidak linier yakni sistem yang tidak memenuhi prinsip superposisi. Sedikit lebih teknis, sistem nonlinier adalah sembarang soal dimana peubah yang disolusi tidak dapat ditulis sebagai jumlah linier komponen-komponen tak gayut. Sistem nonhomogen, yang linier terpisah dari keberadaan fungsi peubah-peubah tak gayut, adalah nonlinier menurut definisi yang tegas, namun sistem demikian biasanya dipelajari disamping sistem linier, karena mereka dapat ditransformasi menuju sistem linier sepanjang solusi khusus diketahui.

Pada umumnya, soal nonlinier adalah rumit (jika mungkin) untuk disolusi dan sangat sedikit yang dipahami dibanding soal linier. Bahkan jika tak dapat disolusi secara eksak, hasil dari soal linier dapat diramalkan, sementara hasil soal nonlinier adalah tak terpisahkan tak dapat diramalkan.

Soal nonlinier menjadi minat fisikawan dan matematikawan karena pada umumnya sistem fisis di alam adalah tak dapat dipisahkan dari sifat nonlinier. Contoh-contoh fisis sistem linier adalah tidak sangat umum. Persamaan nonlinier rumit untuk disolusi dan memunculkan fenomena menarik semisal chaos. Cuaca adalah contoh sistem nonlinier yang terkenal, dimana perubahan sederhana dalam satu bagian sistem menghasilkan akibat yang kompleks secara keseluruhan.