Jaringan saraf konvolusional: Perbedaan antara revisi
Konten dihapus Konten ditambahkan
→Sejarah: Menambahkankonten bidang reseptif di korteks visual Tag: halaman dengan galat kutipan |
→Sejarah: menambahkan konten neurocognitron dari wikipedia bahasa Inggris Tag: halaman dengan galat kutipan |
||
Baris 70:
== Sejarah ==
CNN sering dibandingkan dengan cara otak
=== Bidang reseptif di korteks visual===
Baris 93:
|url-status=live
}}</ref><ref name=":4">{{cite journal |pmc=1363130 |pmid=14403679 |volume=148 |issue=3 |title=Receptive fields of single neurones in the cat's striate cortex |date=October 1959 |journal=J. Physiol. |pages=574–91 |last1=Hubel |first1=DH |last2=Wiesel |first2=TN |doi=10.1113/jphysiol.1959.sp006308}}</ref>
=== ''Neocognitron'', asal muasal arsitektur CNN ===
''"[[Neocognitron]]"''<ref name=fukuneoscholar>{{cite journal |last1=Fukushima |first1=K. |year=2007 |title=Neocognitron |journal=Scholarpedia |volume=2 |issue=1 |page=1717 |doi=10.4249/scholarpedia.1717 |bibcode=2007SchpJ...2.1717F |doi-access=free}}</ref> adalah model jaringan saraf yang diperkenalkan oleh [[Kunihiko Fukushima]] pada tahun 1980.<ref name="intro">{{cite journal |last=Fukushima |first=Kunihiko |title=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position |journal=Biological Cybernetics |year=1980 |volume=36 |issue=4 |pages=193–202 |url=https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf |access-date=16 November 2013 |doi=10.1007/BF00344251 |pmid=7370364 |s2cid=206775608 |archive-date=3 June 2014 |archive-url=https://web.archive.org/web/20140603013137/http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf |url-status=live }}</ref><ref name=mcdns/><ref>{{cite journal |first1=Yann |last1=LeCun |first2=Yoshua |last2=Bengio |first3=Geoffrey |last3=Hinton |title=Deep learning |journal=Nature |volume=521 |issue=7553 |year=2015 |pages=436–444 |doi=10.1038/nature14539 |pmid=26017442 |bibcode=2015Natur.521..436L |s2cid=3074096|url=https://hal.science/hal-04206682/file/Lecun2015.pdf }}</ref>
Model ini terinsipirasi oleh penelitian Hubel dan Wiesel di atas mengenai sel-sel sederhana dan kompleks di korteks visual. ''Neurocognitron'' memiliki dua tipe lapisan dasar:
* Sebuah '''lapisan konvolusi''' yang mengandung unit-unit dengan bidang reseptifnya mencakup sebagian kecil lapisan sebelumnya. Vektor bobot (suatu kumpulan parameter adaptif) dari unit tersebutlah yang disebut sebagai filter. Unit-unit dalam lapisan konvolusi dapat berbagi filter yang sama.
* Beberapa '''lapisan ''downsampling''''' yang mengandung unit-unit dengan bidang reseptifnya mencakup sebagian kecil lapisan konvolusi sebelumnya. Setiap unit biasanya menghitung rata-rata aktivasi unit di bidang reseptifnya. ''Downsampling'' membantu pengenalan objek secara tepat meskipun objek tersebut mengalami pergeseran.
Pada 1969, [[Kunihiko Fukushima]] juga memperkenalkan [[fungsi aktivasi]] [[rectifier (jaringan saraf)|ReLU]] (''rectified linear unit'').<ref name="Fukushima1969">{{cite journal |first1=K. |last1=Fukushima |title=Visual feature extraction by a multilayered network of analog threshold elements |journal=IEEE Transactions on Systems Science and Cybernetics |volume=5 |issue=4 |date=1969 |pages=322–333 |doi=10.1109/TSSC.1969.300225}}</ref><ref name=DLhistory>{{cite arXiv|last=Schmidhuber|first=Juergen|author-link=Juergen Schmidhuber|date=2022|title=Annotated History of Modern AI and Deep Learning |class=cs.NE|eprint=2212.11279}}</ref> ReLU kini menjadi fungsi aktivasi paling populer untuk CNN dan [[pemelajaran dalam|jaringan saraf dalam]] secara umum.<ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=October 16, 2017 |title=Searching for Activation Functions |eprint=1710.05941 |class=cs.NE}}</ref>
Varian lain dari ''neurocognitron'' yang disebut ''cresreptron'' menggunakan metode ''max-pooling'' untuk ''downsampling'', diperkenalkan oleh J. Weng, dkk. pada 1993. ''Max-pooling'' menghitung nilai maksimum aktivasi unit di bidang reseptifnya. Metode ini berbeda dengan ''neurocognitron'' yang menggunakan rerata spasial dalam perhitungan ''downsampling''-nya.<ref name="weng1993">{{cite book| title=1993 (4th) International Conference on Computer Vision| first1=J |last1=Weng |first2=N |last2=Ahuja |first3=TS |last3=Huang| chapter=Learning recognition and segmentation of 3-D objects from 2-D images | chapter-url=https://ieeexplore.ieee.org/document/378228| publisher=IEEE| pages=121–128 | date=1993| doi=10.1109/ICCV.1993.378228 | isbn=0-8186-3870-2| s2cid=8619176 }}</ref> ''Max-pooling'' ini lebih umum digunakan pada CNN modern dibanding rata-rata.<ref name="schdeepscholar"/>
Pelatihan bobot dalam ''neurocognitron'' menggunakan algoritma [[pemelajaran terarah]] (''supervised learning'') dan [[Pemelajaran tak terarah]] (''unsupervised learning'') telah diajukan selama beberapa dekade.<ref name=fukuneoscholar/> Namun, saat ini arsitektur CNN umumnya dilatih menggunakan [[algoritma perambatan mundur|propagasi balik]].
[[Neocognitron]] merupakan CNN pertama yang mensyaratkan unit di berbagai posisi jaringan untuk berbagi bobot.
CNN dipresentasikan di '''Neural Information Processing Workshop''' pada 1987. Dalam presentasi tersebut, CNN didemonstrasikan dapat secara otomatis menganalisis sinyal yang bervariasi dalam waktu (''time-varying'') dengan mengganti perkalian yang telah dipelajari dengan konvolusi dalam waktu (''convolution in time''), dan didemonstrasikan untuk pengenalan suara.<ref name=homma>{{cite journal |last=Homma |first=Toshiteru |author2=Les Atlas |author3=Robert Marks II |year=1987 |title=An Artificial Neural Network for Spatio-Temporal Bipolar Patterns: Application to Phoneme Classification |url=https://proceedings.neurips.cc/paper/1987/file/98f13708210194c475687be6106a3b84-Paper.pdf |journal=Advances in Neural Information Processing Systems |volume=1 |pages=31–40 |access-date=2022-03-31 |archive-date=2022-03-31 |archive-url=https://web.archive.org/web/20220331211142/https://proceedings.neurips.cc/paper/1987/file/98f13708210194c475687be6106a3b84-Paper.pdf |url-status=live }}</ref>
== Lihat juga ==
| |||