Tantangan skema Winograd: Perbedaan antara revisi
Konten dihapus Konten ditambahkan
Membuat artikel dengan konten hasil alih bahasa dari en:Winograd_schema_challenge (oldid=1112747247); lihat sejarahnya untuk atribusi. |
Fitur saranan suntingan: 3 pranala ditambahkan. |
||
| (4 revisi perantara oleh 4 pengguna tidak ditampilkan) | |||
Baris 1:
{{Orphan|date=Februari 2023}}
'''Tantangan skema Winograd''' (Bahasa Inggris: ''Winograd Schema Challenge'', WSC) adalah sebuah uji untuk mengetes kecerdasan mesin. Uji ini diusulkan oleh [[Hector Levesque]], seorang [[ilmuwan komputer]] di [[Universitas Toronto]]. Didesain sebagai perbaikan dari [[uji Turing]], uji ini berisi kumpulan tes pilihan ganda yang berisi pertanyaan-pertanyaan dengan struktur yang sangat spesifik: pertanyaan-pertanyaan tersebut termasuk dalam suatu jenis yang disebut skema Winograd, dinamai sesuai nama [[Terry Winograd]], seorang profesor ilmu komputer di [[Universitas Stanford]].<ref name="ieee web">{{cite web|last1=Ackerman|first1=Evan|date=2014-07-29|title=Can Winograd Schemas Replace Turing Test for Defining Human-level AI|url=https://spectrum.ieee.org/automaton/robotics/artificial-intelligence/winograd-schemas-replace-turing-test-for-defining-humanlevel-artificial-intelligence|website=IEEE Spectrum|accessdate=29 October 2014}}</ref>▼
▲'''Tantangan skema Winograd''' (
Secara sederhana, pertanyaan skema Winograd hanya membutuhkan resolusi [[Anafora (linguistik)|anafora]]: mesin harus mengidentifikasi anteseden<ref>{{Cite web|title=an.te.se.den|url=https://kbbi.kemdikbud.go.id/entri/anteseden|website=KBBI Daring|access-date=2022-10-13|quote=Unsur terdahulu yang ditunjuk oleh ungkapan dalam suatu klausa atau kalimat, misalnya “Ani cantik, tetapi kelakuannya jelek”, bentuk -nya menunjuk anteseden Ani.}}</ref> dari kata ganti yang ambigu dalam sebuah pernyataan. Pertanyaan ini menjadikan tes menjadi sebuah masalah [[pemrosesan bahasa alami]], tetapi Levesque berpendapat bahwa untuk skema Winograd, tugas tersebut membutuhkan penggunaan pengetahuan dan penalaran akal sehat.<ref name="Levesque14">{{Cite journal|last1=Levesque|first1=H. J.|year=2014|title=On our best behaviour|journal=Artificial Intelligence|volume=212|pages=27–35|doi=10.1016/j.artint.2014.03.007|doi-access=free}}</ref>
''[[Nuance Communications
== Latar belakang ==
Tantangan Skema Winograd diusulkan dalam semangat [[uji Turing]]. Diusulkan oleh [[Alan Turing]] pada tahun 1950, uji Turing memainkan peran sentral dalam filosofi [[Kecerdasan buatan|kecerdasan buatan (AI)]]. Turing mengusulkan bahwa, alih-alih memperdebatkan apakah mesin dapat berpikir, ilmu AI harus berfokus pada observasi perilaku-perilaku cerdas yang dapat diuji. Tetapi sifat pasti dari uji yang diusulkan Turing telah mendapat sorotan, terutama sejak ''[[
Usulan asli Turing adalah sebuah tes yang disebutnya sebagai permainan imitasi, yang melibatkan percakapan yang mengalir bebas dan tidak terbatas dalam [[bahasa Inggris]], antara juri manusia dan program komputer melalui saluran teks (seperti teleprinter). Secara umum, mesin dinyatakan lulus tes jika interogator tidak dapat membedakan antara mesin dan manusia dalam percakapan lima menit.<ref name="Turing paper" />
=== Kekurangan dari uji Turing ===
Baris 54 ⟶ 56:
Winograd Schema Challenge 2016 dijalankan pada tanggal 11 Juli 2016 di IJCAI-16. Ada empat kontestan. Babak pertama kontes ini adalah untuk memecahkan masalah disambiguasi kata ganti (''pronoun disambiguation problems'', PDP), yang diadaptasi dari sumber-sumber literatur dan tidak dikonstruksi sebagai pasangan kalimat.<ref>{{cite magazine|first1=Ernest|last1=Davis|first2=Leora|last2=Morgenstern|first3=Charles|last3=Ortiz|title=The First Winograd Schema Challenge at IJCAI-16|magazine=AI Magazine|date=Fall 2017|url=http://www.aimagazine-digital.org/aimagazine/fall_2017?sub_id=TUUUqmoUzKCg&pg=99#pg99}}</ref> Skor tertinggi yang dicapai adalah 58% benar, oleh Quan Liu dkk, dari Universitas Sains dan Teknologi, Cina.<ref>{{cite arXiv|title=Commonsense Knowledge Enhanced Embeddings for Solving Pronoun Disambiguation Problems in Winograd Schema Challenge|eprint=1611.04146|first1=Quan|last1=Liu|first2=Hui|last2=Jiang|first3=Zhen-Hua|last3=Ling|first4=Xiaodan|last4=Zhu|first5=Si|last5=Wei|first6=Yu|last6=Hu|class=cs.AI|year=2016}}</ref> Oleh karena itu, sesuai dengan aturan tantangan itu, tidak ada hadiah yang diberikan, dan tantangan tidak dilanjutkan ke babak kedua. Panitia penyelenggara pada tahun 2016 adalah Leora Morgenstern, Ernest Davis, dan Charles Ortiz.
Pada tahun 2017, model asosiasi neural (''neural association'') yang dirancang untuk ''akuisisi pengetahuan akal sehat'' mencapai akurasi 70% pada 70 masalah yang dipilih secara [[Transmisi manual|manual]] dari kumpulan data skema 273 Winograd asli.<ref>{{cite journal|last1=Liu|first1=Quan|last2=Jiang|first2=Hui|last3=Evdokimov|first3=Andrew|last4=Ling|first4=Zhen-Hua|last5=Zhu|first5=Xiaodan|last6=Wei|first6=Si|last7=Hu|first7=Yu|date=2017|title=Cause-Effect Knowledge Acquisition and Neural Association Model for Solving A Set of Winograd Schema Problems|url=https://www.ijcai.org/Proceedings/2017/326|journal=Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence|pages=2344–2350|doi=10.24963/ijcai.2017/326|isbn=9780999241103|doi-access=free}}</ref> Pada bulan Juni 2018, skor akurasi 63,7% dicapai pada dataset lengkap menggunakan model ''ensemble'' dari ''recurrent neural network'' (RNN),<ref name=":0">{{cite arXiv|last1=Trinh|first1=Trieu H.|last2=Le|first2=Quoc V.|date=2019-09-26|title=A Simple Method for Commonsense Reasoning|class=cs.AI|eprint=1806.02847}}</ref> menandai penggunaan pertama NN yang dapat belajar dari korpora independen untuk memperoleh pengetahuan akal sehat. Pada tahun 2019, skor 90,1% dicapai pada set data skema Winograd asli dengan ''fine-tuning'' dari model bahasa [[BERT]]. Model ini belajar dengan data ''training'' mirip-WSC yang sesuai untuk menghindari keharusan mempelajari penalaran akal sehat.<ref name=":0" /> Model bahasa umum [[GPT-3]] mencapai skor 88,3% tanpa ''fine-tuning'' khusus pada tahun 2020.<ref name="Brown_et_al_2020">{{Cite arXiv|eprint=2005.14165|last1=Brown|first1=Tom B.|last2=Mann|first2=Benjamin|last3=Ryder|first3=Nick|last4=Subbiah|first4=Melanie|last5=Kaplan|first5=Jared|last6=Dhariwal|first6=Prafulla|last7=Neelakantan|first7=Arvind|last8=Shyam|first8=Pranav|last9=Sastry|first9=Girish|last10=Askell|first10=Amanda|last11=Agarwal|first11=Sandhini|last12=Herbert-Voss|first12=Ariel|last13=Krueger|first13=Gretchen|last14=Henighan|first14=Tom|last15=Child|first15=Rewon|last16=Ramesh|first16=Aditya|last17=Ziegler|first17=Daniel M.|last18=Wu|first18=Jeffrey|last19=Winter|first19=Clemens|last20=Hesse|first20=Christopher|last21=Chen|first21=Mark|last22=Sigler|first22=Eric|last23=Litwin|first23=Mateusz|last24=Gray|first24=Scott|last25=Chess|first25=Benjamin|last26=Clark|first26=Jack|last27=Berner|first27=Christopher|last28=McCandlish|first28=Sam|last29=Radford|first29=Alec|last30=Sutskever|first30=Ilya|title=Language Models are Few-Shot Learners|year=2020|class=cs.CL|display-authors=29}}</ref>
Set data ''adversarial'' "Winogrande" yang lebih menantang dirancang pada tahun 2019. Dataset ini berisi 44.000 masalah dengan gaya isi titik-titik, berbeda dengan format kata ganti dari dataset sebelumnya.<ref name="Sakaguchi" /> Sebuah versi dari tantangan skema Winograd menjadi salah satu bagian dari koleksi tolok ukur GLUE (''[[General Language Understanding Evaluation]]'') dari tantangan dalam pemahaman bahasa alami otomatis.<ref>{{cite web|title=GLUE Benchmark|url=https://gluebenchmark.com/|website=GlueBenchmark.com|accessdate=30 July 2019}}</ref>
Baris 64 ⟶ 66:
* [http://commonsensereasoning.org/winograd.html Situs untuk kontes yang disponsori oleh ''Nuance Communications'']
{{Uncategorized|date=Februari 2023}}
| |||