Jaringan saraf konvolusional
| Bagian dari seri |
| Pemelajaran mesin dan Penggalian Data |
|---|
 |
Jaringan saraf konvolusional (bahasa Inggris: Convolutional neural network atau disingkat CNN) adalah salah satu kelas jaringan saraf umpan-maju teregulasi yang secara mandiri mampu mempelajari rekayasa fitur melalui optimasi filter (atau kernel). Keunggulan CNN dibandingkan jaringan saraf sebelumnya terletak pada kemampuannya untuk mengatasi permasalahan gradien menghilang dan gradien meledak yang kerap muncul saat propagasi balik. Hal ini dimungkinkan karena CNN menggunakan bobot terregularisasi pada koneksi yang lebih sedikit. [1] [2] Misalnya, untuk setiap neuron di lapisan yang sepenuhnya terhubung (fully connected layers), diperlukan 10.000 bobot untuk memproses gambar berukuran 100 × 100 piksel. Namun, dengan menerapkan kernel konvolusi berjenjang (atau korelasi silang),[3][4] hanya diperlukan 25 neuron untuk memproses petak berukuran 5x5.[5][6] Arsitektur CNN ini memungkinkan ekstraksi fitur tingkat tinggi dari jendela konteks yang lebih luas pada lapisan yang lebih tinggi dibanding lapisan sebelumnya.
CNN memiliki aplikasi di:
- pengenalan citra dan video, [7]
- sistem pemberi rekomendasi, [8]
- klasifikasi gambar,
- segmentasi gambar,
- analisis gambar medis,
- pemrosesan bahasa alami,[9]
- antarmuka otak-komputer,[10] dan
- deret waktu keuangan.[11]
CNN juga dikenal sebagai Shift Invariant atau Space Invariant Artificial Neural Networks (SIANN) atau Jaringan Saraf Tiruan Invarian Penggeseran atau Invarian Ruang. Penamaan ini berdasarkan arsitektur bobot-berbagi yang digunakan kernel atau filter konvolusi. Kernel ini bergerak melintasi fitur masukan (input) dan menghasilkan respons translasi-ekuivarian yang dikenal sebagai peta fitur.[12][13] Respons translasi-equivarian berarti bahwa keluaran jaringan tidak berubah secara signifikan oleh pergeseran spasial kecil pada masukan. Namun, sebagian besar CNN tidak invarian terhadap translasi karena operasi downsampling yang diterapkan pada masukan.[14]
Jaringan saraf umpan-maju yang umum digunakan dalam CNN memiliki karakteristik "konektivitas penuh" (fully connected), yaitu setiap neuron di satu lapisan terhubung dengan semua neuron di lapisan berikutnya. "Konektivitas penuh" dari jaringan ini membuatnya rentan terhadap overfitting data. Untuk mengatasi overfitting pada CNN, berbagai teknik regularisasi telah dikembangkan, seperti memberikan penalti pada parameter selama pelatihan (seperti weight decay) atau memangkas konektivitas (skip connections atau koneksi lompat, dropout, dll.) Selain teknik regularisasi, penggunaan kumpulan data yang besar dan representatif juga sangat penting. Kumpulan data yang memadai memungkinkan CNN untuk mempelajari prinsip-prinsip umum yang mendasari data tersebut, alih-alih hanya menghafal bias yang mungkin ada pada kumpulan data yang terbatas. Dengan demikian, CNN dapat menghasilkan generalisasi yang lebih baik pada data baru yang belum pernah dilihat sebelumnya. [15]
CNN terinspirasi dari proses-proses biologis[16][17][18][19] pada pola konektivitas antar-neuron yang menyerupai organisasi korteks visual pada binatang. Tiap neuron kortikal hanya merespons rangsangan dalam satu area terbatas pada bidang visual atau bidang reseptif. Bidang-bidang reseptif neuron tumpang tindih secara parsial (partial overlap) sedemikian sehingga mencakup seluruh bidang reseptif.
CNN secara relatif menggunakan pra-pemrosesan yang lebih sedikit dibandingkan dengan algoritma klasifikasi citra lainnya. Artinya, jaringan pada CNN mempelajari optimasi filter (atau kernel) melalui pemelajaran otomatis. Berbeda dengan algoritma tradisional yang mengandalkan rekayasa filter inisecara manual. Kemampuan ini menjadikan penggunaan CNN memberikan keuntungan yang besar karena independensinya terhadap pra-pengetahuan manusia dalam tahap ekstraksi fitur.
Lihat juga
- Attention (machine learning)
- Convolution
- Deep learning
- Natural-language processing
- Neocognitron
- Scale-invariant feature transform
- Time delay neural network
- Vision processing unit
Referensi
- ^ Venkatesan, Ragav; Li, Baoxin (2017-10-23). Convolutional Neural Networks in Visual Computing: A Concise Guide (dalam bahasa Inggris). CRC Press. ISBN 978-1-351-65032-8. Diarsipkan dari versi asli tanggal 2023-10-16. Diakses tanggal 2020-12-13.
- ^ Balas, Valentina E.; Kumar, Raghvendra; Srivastava, Rajshree (2019-11-19). Recent Trends and Advances in Artificial Intelligence and Internet of Things (dalam bahasa Inggris). Springer Nature. ISBN 978-3-030-32644-9. Diarsipkan dari versi asli tanggal 2023-10-16. Diakses tanggal 2020-12-13.
- ^ Zhang, Yingjie; Soon, Hong Geok; Ye, Dongsen; Fuh, Jerry Ying Hsi; Zhu, Kunpeng (September 2020). "Powder-Bed Fusion Process Monitoring by Machine Vision With Hybrid Convolutional Neural Networks". IEEE Transactions on Industrial Informatics. 16 (9): 5769–5779. doi:10.1109/TII.2019.2956078. ISSN 1941-0050. Diarsipkan dari versi asli tanggal 2023-07-31. Diakses tanggal 2023-08-12.
- ^ Chervyakov, N.I.; Lyakhov, P.A.; Deryabin, M.A.; Nagornov, N.N.; Valueva, M.V.; Valuev, G.V. (September 2020). "Residue Number System-Based Solution for Reducing the Hardware Cost of a Convolutional Neural Network". Neurocomputing (dalam bahasa Inggris). 407: 439–453. doi:10.1016/j.neucom.2020.04.018. Diarsipkan dari versi asli tanggal 2023-06-29. Diakses tanggal 2023-08-12.
Convolutional neural networks represent deep learning architectures that are currently used in a wide range of applications, including computer vision, speech recognition, malware dedection, time series analysis in finance, and many others.
- ^ Habibi, Aghdam, Hamed (2017-05-30). Guide to convolutional neural networks : a practical application to traffic-sign detection and classification. Heravi, Elnaz Jahani. Cham, Switzerland. ISBN 9783319575490. OCLC 987790957.
- ^ Atlas, Homma, and Marks. "An Artificial Neural Network for Spatio-Temporal Bipolar Patterns: Application to Phoneme Classification" (PDF). Neural Information Processing Systems (NIPS 1987). 1. Diarsipkan dari versi asli (PDF) tanggal 2021-04-14.
- ^ Valueva, M.V.; Nagornov, N.N.; Lyakhov, P.A.; Valuev, G.V.; Chervyakov, N.I. (2020). "Application of the residue number system to reduce hardware costs of the convolutional neural network implementation". Mathematics and Computers in Simulation. Elsevier BV. 177: 232–243. doi:10.1016/j.matcom.2020.04.031. ISSN 0378-4754.
Convolutional neural networks are a promising tool for solving the problem of pattern recognition.
- ^ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013-01-01). Burges, C. J. C.; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, K. Q., ed. Deep content-based music recommendation (PDF). Curran Associates, Inc. hlm. 2643–2651. Diarsipkan dari versi asli (PDF) tanggal 2022-03-07. Diakses tanggal 2022-03-31.
- ^ Collobert, Ronan; Weston, Jason (2008-01-01). "A unified architecture for natural language processing". Proceedings of the 25th international conference on Machine learning - ICML '08. New York, NY, US: ACM. hlm. 160–167. doi:10.1145/1390156.1390177. ISBN 978-1-60558-205-4.
- ^ Avilov, Oleksii; Rimbert, Sebastien; Popov, Anton; Bougrain, Laurent (July 2020). "Deep Learning Techniques to Improve Intraoperative Awareness Detection from Electroencephalographic Signals" (PDF). 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC) (PDF). 2020. Montreal, QC, Canada: IEEE. hlm. 142–145. doi:10.1109/EMBC44109.2020.9176228. ISBN 978-1-7281-1990-8. PMID 33017950 Periksa nilai
|pmid=(bantuan). Diarsipkan dari versi asli tanggal 2022-05-19. Diakses tanggal 2023-07-21. - ^ Tsantekidis, Avraam; Passalis, Nikolaos; Tefas, Anastasios; Kanniainen, Juho; Gabbouj, Moncef; Iosifidis, Alexandros (July 2017). "Forecasting Stock Prices from the Limit Order Book Using Convolutional Neural Networks". 2017 IEEE 19th Conference on Business Informatics (CBI). Thessaloniki, Greece: IEEE. hlm. 7–12. doi:10.1109/CBI.2017.23. ISBN 978-1-5386-3035-8.
- ^ Zhang, Wei (1988). "Shift-invariant pattern recognition neural network and its optical architecture". Proceedings of Annual Conference of the Japan Society of Applied Physics. Diarsipkan dari versi asli tanggal 2020-06-23. Diakses tanggal 2020-06-22.
- ^ Zhang, Wei (1990). "Parallel distributed processing model with local space-invariant interconnections and its optical architecture". Applied Optics. 29 (32): 4790–7. Bibcode:1990ApOpt..29.4790Z. doi:10.1364/AO.29.004790. PMID 20577468. Diarsipkan dari versi asli tanggal 2017-02-06. Diakses tanggal 2016-09-22.
- ^ Mouton, Coenraad; Myburgh, Johannes C.; Davel, Marelie H. (2020). "Stride and Translation Invariance in CNNs". Dalam Gerber, Aurona. Artificial Intelligence Research. Communications in Computer and Information Science (dalam bahasa Inggris). 1342. Cham: Springer International Publishing. hlm. 267–281. arXiv:2103.10097
. doi:10.1007/978-3-030-66151-9_17. ISBN 978-3-030-66151-9. Diarsipkan dari versi asli tanggal 2021-06-27. Diakses tanggal 2021-03-26.
- ^ Kurtzman, Thomas (August 20, 2019). "Hidden bias in the DUD-E dataset leads to misleading performance of deep learning in structure-based virtual screening". PLOS ONE. 14 (8): e0220113. Bibcode:2019PLoSO..1420113C. doi:10.1371/journal.pone.0220113. PMC 6701836 . PMID 31430292.
- ^ Fukushima, K. (2007). "Neocognitron". Scholarpedia. 2 (1): 1717. Bibcode:2007SchpJ...2.1717F. doi:10.4249/scholarpedia.1717.
- ^ Hubel, D. H.; Wiesel, T. N. (1968-03-01). "Receptive fields and functional architecture of monkey striate cortex". The Journal of Physiology. 195 (1): 215–243. doi:10.1113/jphysiol.1968.sp008455. ISSN 0022-3751. PMC 1557912 . PMID 4966457.
- ^ Fukushima, Kunihiko (1980). "Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position" (PDF). Biological Cybernetics. 36 (4): 193–202. doi:10.1007/BF00344251. PMID 7370364. Diarsipkan dari versi asli (PDF) tanggal 3 June 2014. Diakses tanggal 16 November 2013.
- ^ Matusugu, Masakazu; Katsuhiko Mori; Yusuke Mitari; Yuji Kaneda (2003). "Subject independent facial expression recognition with robust face detection using a convolutional neural network" (PDF). Neural Networks. 16 (5): 555–559. doi:10.1016/S0893-6080(03)00115-1. PMID 12850007. Diarsipkan dari versi asli (PDF) tanggal 13 December 2013. Diakses tanggal 17 November 2013.
Tautan eksternal
- CS231n: Jaringan Neural Konvolusional untuk Pengenalan Visual - Pelajaran ilmu komputer Stanford oleh Andrej Karpathy tentang CNN dalam visi komputer