Regularisasi (matematika)

Dalam matematika, statistik, keuangan, ^[1]dan ilmu komputer, terutama dalam pemelajaran mesin dan masalah invers, regularisasi adalah proses yang mengubah jawaban suatu masalah menjadi jawaban yang lebih sederhana. Metode ini sering digunakan untuk memecahkan masalah yang sulit atau untuk mencegah overfitting.^[2]

Fungsi hijau dan biru keduanya mengalami kerugian nol pada titik-titik data yang ada. Model yang telah dilatih dapat diarahkan untuk lebih memilih fungsi hijau yang mungkin dapat menggeneralisasi lebih baik ke lebih banyak titik yang diambil dari distribusi yang tidak diketahui dengan menyesuaikan $\lambda$ , bobot dari data regularisasi.

Meskipun prosedur regularisasi dapat dibagi dalam banyak cara. Regularisasi dapat dibagi sebagai berikut.

Regularisasi eksplisit adalah regularisasi yang dilakukan ketika seseorang secara eksplisit menambahkan suatu suku dalam masalah optimasi. Suku-suku ini dapat berupa prior, penalti, atau kendala. Regularisasi eksplisit umumnya digunakan pada masalah optimasi yang tidak terdefinisi dengan baik (ill-posed optimization problems). Suku regularisasi, atau penalti, memberikan biaya pada fungsi optimisasi untuk membuat solusi optimal menjadi unik.
Regularisasi implisit adalah semua bentuk regularisasi lainnya. Ini termasuk, misalnya, early stopping, penggunaan fungsi kerugian yang robust, dan penghapusan data pencilan (outlier). Regularisasi implisit pada dasarnya ada di mana-mana dalam pendekatan pemelajaran mesin modern, termasuk penurunan gradien stokastik untuk melatih jaringan saraf dalam, dan metode ensemble (seperti Random Forest dan Gradient Boosted Tree).

Dalam regularisasi eksplisit, terlepas dari masalah atau modelnya, selalu ada dua suku: suku data, yang terkait dengan kemungkinan pengukuran (likelihood), dan suku regularisasi, yang terkait dengan prior. Dengan menggabungkan keduanya menggunakan statistik Bayesian, kita dapat menghitung posterior yang mencakup kedua sumber informasi tersebut, sehingga menstabilkan proses estimasi. Dengan menyeimbangkan kedua tujuan ini, kita memilih untuk lebih berorientasi pada data atau untuk menegakkan regularisasi (untuk mencegah overfitting). Ada cabang penelitian khusus yang membahas berbagai kemungkinan regularisasi. Dalam praktiknya, seseorang biasanya mencoba regularisasi tertentu dan kemudian mencari tahu densitas probabilitas yang sesuai dengan regularisasi tersebut untuk membenarkan pemilihan tersebut. Ini juga bisa dimotivasi secara fisik melalui akal sehat atau intuisi.

Dalam pemelajaran mesin, istilah data terkait dengan data pelatihan, sementara regularisasi adalah pilihan model atau modifikasi pada algoritma. Tujuan utamanya selalu untuk mengurangi kesalahan generalisasi, yaitu skor kesalahan dengan model terlatih pada set evaluasi, bukan data pelatihan^[3].

Salah satu penggunaan regularisasi yang paling awal adalah regularisasi Tikhonov (regresi ridge), yang terkait dengan metode kuadrat terkecil.

Lihat juga

Interpretasi Bayesian tentang regularisasi
Pertukaran bias-varians
Regularisasi matriks
Regularisasi dengan penyaringan spektral
Kuadrat terkecil yang teratur
Pengali Lagrange
Pengurangan varians

Catatan

^ Kratsios, Anastasis (2020). "Deep Arbitrage-Free Learning in a Generalized HJM Framework via Arbitrage-Regularization Data". Risks. 8 (2): [1]. doi:10.3390/risks8020040. Term structure models can be regularized to remove arbitrage opportunities [sic?].
^ Bühlmann, Peter; Van De Geer, Sara (2011). Statistics for High-Dimensional Data . Springer Series in Statistics. hlm. 9. doi:10.1007/978-3-642-20192-9. ISBN 978-3-642-20191-2. If p > n, the ordinary least squares estimator is not unique and will heavily overfit the data. Thus, a form of complexity regularization will be necessary.
^ Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron. Deep Learning Book. Diakses tanggal 2021-01-29.

Referensi

Neumaier, A. (1998). "Solving ill-conditioned and singular linear systems: A tutorial on regularization" (PDF). SIAM Review. 40 (3): 636–666. Bibcode:1998SIAMR..40..636N. doi:10.1137/S0036144597321909.

[1] Kratsios, Anastasis (2020). "Deep Arbitrage-Free Learning in a Generalized HJM Framework via Arbitrage-Regularization Data". Risks. 8 (2): [1]. doi:10.3390/risks8020040. Term structure models can be regularized to remove arbitrage opportunities [sic?].

[2] Bühlmann, Peter; Van De Geer, Sara (2011). Statistics for High-Dimensional Data . Springer Series in Statistics. hlm. 9. doi:10.1007/978-3-642-20192-9. ISBN 978-3-642-20191-2. If p > n, the ordinary least squares estimator is not unique and will heavily overfit the data. Thus, a form of complexity regularization will be necessary.

[3] Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron. Deep Learning Book. Diakses tanggal 2021-01-29.

[1]

[2]

[3]