Stabilitas (teori pemelajaran): Perbedaan antara revisi

* '''Awal tahun 1900an''' - Stabilitas dalam teori pembelajaran pertama kali dijelaskan dalam istilah kontinuitas dari peta pembelajaran <math>L</math>,. Ketika ditelusuri keistilah ini dipelopori hingga kepada [[Andrey Nikolayevich Tikhonov]]{{Butuh rujukan|date=May 2021}}.

* '''1979''' - Devroye dan Wagner mengamati bahwa perilaku algoritma''leave-one-out'' yangdari dibiarkansuatu keluaralgoritma berhubungan dengan sensitivitasnya terhadap perubahan kecil dalam sampel. <ref name="devroye1979">L. Devroye and Wagner, Distribution-free performance bounds for potential function rules, IEEE Trans. Inf. Theory 25(5) (1979) 601–604.</ref>

* '''1999''' - Kearns dan Ron menemukan terkait hubungan antara dimensi VC terbatas dan stabilitas. <ref>M. Kearns and [[Dana Ron|D. Ron]], Algorithmic stability and sanity-check bounds for leave-one-out cross-validation, Neural Comput. 11(6) (1999) 1427–1453.</ref>

* '''2002''' - Dalam sebuah makalah penting, Bousquet dan Elisseeff mengusulkan gagasan ''stabilitas hipotesis seragam'' atau ''uniform hypothesis stability'' dari suatu algoritma pembelajaran dan menunjukkan bahwa hal itutersebut menyiratkan kesalahan generalisasi yang rendah. Stabilitas hipotesis seragam, bagaimanapun, adalah kondisi kuat yang tidak berlaku untuk kelas algoritma yang besar, termasuk algoritma ERM dengan ruang hipotesis hanya dua fungsi. <ref name="bousquet2002">O. Bousquet and A. Elisseeff. Stability and generalization. J. Mach. Learn. Res., 2:499–526, 2002.</ref>

* '''2002''' - Kutin dan Niyogi memperluas hasil Bousquet dan Elisseeff dengan memberikan batasan generalisasi untuk beberapa bentuk stabilitas yang lebih lemah yang mereka sebut sebagai ''stabilitas hampir di semua tempat'' atau ''almost-everywhere-stability''. Selanjutnya, mereka mengambil langkah awal dalam membangun hubungan antara stabilitas dan konsistensi dalam algoritma ERM dalam pengaturan Mungkin Kurang Lebih Benar (''Probably Approximately Correct'' (PAC)). <ref>S. Kutin and P. Niyogi, Almost-everywhere algorithmic stability and generalization error, Technical Report TR-2002-03, University of Chicago (2002).</ref>

* '''2004''' - Poggio dkk. membuktikan hubungan umum antara stabilitas dan konsistensi ERM. Mereka mengusulkan bentuk statistik dari stabilitas tinggalkan satu''leave-keluarone-out'' yang mereka sebut ''stabilitas CVEEEloo'', dan menunjukkan bahwa itu a) cukup untuk generalisasi dalam kelas kerugian yang dibatasi, dan b) perlu dan cukup untuk konsistensi (dan dengan demikian generalisasi) dari algoritma ERM untuk fungsi kerugian tertentu seperti kerugian kuadrat, nilai absolut, dan kerugian klasifikasi biner. <ref>S. Mukherjee, P. Niyogi, T. Poggio, and R. M. Rifkin. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Adv. Comput. Math., 25(1-3):161–193, 2006.</ref>

* '''2010''' - Shalev Shwartz dkk. memperhatikan masalah dengan hasil asli Vapnik karena hubungan kompleks antara ruang hipotesis dan kelas kerugian. Mereka mendiskusikan gagasan stabilitas yang mencakup kelas kerugian yang berbeda dan jenis pembelajaran yang berbeda, diawasiterarah dan tidak diawasiterarah. <ref>Shalev Shwartz, S., Shamir, O., Srebro, N., Sridharan, K., Learnability, Stability and Uniform Convergence, Journal of Machine Learning Research, 11(Oct):2635-2670, 2010.</ref>

* '''2016''' - Moritz Hardt dkk. membuktikan stabilitas penurunan gradien dengan asumsi terhadap hipotesis tertentu dan berapa kali setiap ''instance'' digunakan untuk memperbarui model. <ref>Moritz Hardt, Benjamin Recht, Yoram Singer, Train faster, generalize better: Stability of stochastic gradient descent, ICML 2016.</ref>