Teori informasi

Teori informasi adalah cabang dari matematika peluang dan statistik, yang berkaitan dengan konsep informasi dan entropi informasi.

Claude E. Shannon (1916-2001) dikenal sebagai "bapak teori informasi". Shannon mendefinisikan pengukuran dari entropi informasi sebagai:

$H=-\sum _{i}p_{i}\log p_{i}\,$

Rumus ini jika diterapkan pada suatu sumber informasi, dapat menentukan kapasitas dari saluran yang diperlukan untuk mengirim data yang diterjemahkan ke dalam digit biner.