Teori informasi: Perbedaan antara revisi

Aplikasi dari topik dasar dalam '''teori informasi''' meliputi kompresi data tanpa cacat (''lossless data compression'', pada file ZIP misalnya), kompresi data (''lossy data compression'', pada file MP3, misalnya), dan pengkodean kanal (''channel coding'', pada saluran DSL, ADSL dll). Biasanya teori informasi merupakan titik temu dari bidang –bidang matematika, statistika, ilmu komputer, fisika, neurobiologi, dan teknik listrik serta komputer. Implementasi dari teori ini berdampak langsung dengan misi ruang angkasa, pemahaman mengenai lubang hitam dalam galaksi, dengan penelitian [[linguistika]] dan [[persepsi manusia]], dengan [[jaringan komputer]], jaringan [[Internet]] serta jaringan [[telepon genggam]].

 

 

Secara khusus, '''teori informasi''' adalah cabang dari [[matematika]] [[peluang]] dan [[statistik]], yang berkaitan dengan konsep [[informasi]] dan [[entropi informasi]] seperti telah dijelaskan di atas. [[Claude Shannon]] ([[1916]]-[[2001]]) dikenal sebagai "bapak dari teori informasi". Shannon mendefinisikan pengukuran dari [[entropi informasi]] (dalam bit) sebagai: