Korpus teks

Korpus Teks

Korpus teks adalah sumber daya bahasa yang terdiri dari kumpulan teks yang besar dan terstruktur. Pada linguistic korpus teks juga dikenal dengan sebutan jamak korpora yang saat ini biasanya disimpan dan diproses secara elektronik. Korpus teks digunakan untuk melakukan analisis statistic serta pengujian hipotesa, memeriksa kejadian atau memvalidasi aturan lingustik dalam wilayah bahasa tertentu.

Definisi lainnya dari korpus teks adalah kumpulan teks alami, baik bahasa lisan maupun bahasa tulis, yang disusun secara sistematis.

Sejarah Korpus

Linguistik korpus muncul sekitar tahun 1960-an dimana pada era tersebut, dua buku dari Noam Chomsky yang berjudul Syntactic Structures terbit pada tahun 1957 dan Aspects of Theory of Syntax terbit pada tahun 1965 memberikan dampak besar bahkan memicu revisi standar paradigma dalam linguistik teoretis.

Setelah itu, muncul proyek-proyek mengenai korpus. Proyek korpus pertama, di akhir tahun 1950-an, Randolph Quirk melakukan pengumpulan data bahasa untuk penelitian tata bahasa secara empiris. Saat itu, data yang dikumpulkannya belum terkomputerisasi dan baru pada pertengahan tahun 1980-an proses komputerisasi tersebut dilakukan oleh Quirk bersama Greenbaum. Itulah proyek korpus pertama yang dikenal dengan International Corpus of English dimana dalam data tersebut terdiri atas 1 juga kata yang meliputi 500 ribu kata data lisan dan 500 ribu kata data tulis.

Proyek korpus kedua bernama Brown Corpus disusun oleh Nelson Francis pada tahun 1960-an yang terdiri dari 1 juta kata.

Proyek ketiga dari korpus bernama English Lexical Studies yang dimulai pada tahun 1963 di Edinburgh dan diselesaikan di Birmingham dipimpin oleh John Sinclair. Proyek ini berbasis sampel teks elektronik bahasa lisan dan tulis yang sangat kecil.

Pada proyek korpus berikutnya, yaitu Collins Cobuild English Language Dictionary yang disusun pertengahan 1970-an dan kamus tersebut diterbitkan pada tahun 1987 dibawah panduan John Sinclair. Didalamnya korpus tersebut terdiri atas 18,3 juta kata.

Aplikasi Korpus Teks

Pengaplikasian dari Korpus Teks ini terdapat pada beberapa area meliputi :

• Aplikasi korpus teks dalam dalam teknologi bahasa, pemrosesan bahasa alami dan linguistik komputansi

Analisis dan pemrosesan berbagai jenis korpora merupakan subjek beragam pekerjaan dalam linguistik komputasi, pengenalan suara, dan terjemahan mesin, yang mana hal tersebut sering digunakan untuk membuat model Markov tersembunyi yang digunakan untuk penandaan bagian ucapan dan tujuan lainnya.

Turunan dari daftar korpora serta frekuensi berguna dalam pengajaran bahasa. Korpora dapat dianggap sebagai bentuk dari jenis bantuan menulis bahasa asing, karena pemahaman dari tata bahasa kontekstualnya diperoleh pengguna bahasa non asli melalui paparan teks yang otentik di korpora sehingga memungkinkan pelajar untuk memahami cara dari pembentukan kalimat dalam bahasa tujuan dan memungkinkan penulisan yang efektif.

• Mesin penerjemah

Dalam mesin penerjemah, algoritma terjemahan mesin untuk menerjemahkan antara dua bahasa, sering dilatih menggunakan fragmen paralel yang terdiri atas korpus bahasa pertama serta korpus bahasa kedua, yang merupakan hasil terjemahan dari elemen per elemen dari bahasa pertama.

Dalam korpus terjemahan, teks-teks dalam satu bahasa merupakan terjemahan dari teks-teks dalam bahasa lain. Dalam korpus yang sebanding, teks-teksnya memiliki jenis yang sama dan mencakup konten yang sama, tetapi mereka bukan terjemahan satu sama lain. Untuk mengeksploitasi teks paralel, beberapa jenis perataan teks yang mengidentifikasi segmen teks yang setara (frasa atau kalimat) merupakan prasyarat untuk analisis.

• Filologi

Korpora teks juga digunakan dalam studi dokumen sejarah, seperti dalam upaya untuk menguraikan naskah-naskah kuno, atau dalam studi pada Alkitab. Beberapa korpora arkeologi dapat memiliki durasi yang begitu singkat sehingga mereka memberikan gambaran pada waktunya. Salah satu korpora terpendek dalam waktu mungkin adalah teks surat Amarna 15–30 tahun (1350 SM).