Mutual information antara dua variabel acak \(X\) dan \(Y\) mengukur:

• Ketidakpastian total dalam \(X\).
• Pengurangan ketidakpastian \(X\) diberikan \(Y\).
• Jumlah ketidakpastian dalam \(X\) dan \(Y\).
• Ketidakpastian total dalam \(Y\).

Pernyataan berikut yang paling menggambarkan entropy coding adalah:

• Skema pengkodean yang menggunakan kode terpendek untuk simbol paling jarang.
• Skema pengkodean yang menggunakan kode dengan panjang sama untuk semua simbol.
• Skema pengkodean yang menggunakan kode terpendek untuk simbol paling sering.
• Skema pengkodean yang mengurangi redundansi dalam data yang dikirimkan.

Perbedaan utama antara pengkodean Huffman dan pengkodean Shannon-Fano adalah:

• Pengkodean Huffman menghasilkan kode yang lebih panjang.
• Pengkodean Shannon-Fano menghasilkan kode yang lebih panjang.
• Pengkodean Huffman menggunakan probabilitas simbol.
• Pengkodean Shannon-Fano menggunakan probabilitas simbol.

Entropy sebuah variabel acak mengukur:

• Ketidakpastian rata-rata variabel tersebut.
• Informasi total dalam variabel tersebut.
• Redundansi variabel tersebut.
• Efisiensi variabel tersebut.

Tujuan utama dari pengkodean entropi adalah:

• Meningkatkan panjang pesan yang dikirimkan.
• Mengurangi ketidakpastian dalam pesan.
• Mengurangi redundansi dalam pesan.
• Menambah redundansi dalam pesan.

Dalam pengkodean Huffman, simbol dengan probabilitas tinggi:

• Diberikan kode yang lebih panjang.
• Diberikan kode yang lebih pendek.
• Diabaikan dalam pengkodean.
• Diberikan kode dengan panjang tetap.

Kelebihan utama pengkodean Huffman dibandingkan pengkodean Shannon-Fano adalah:

• Lebih sederhana untuk diimplementasikan.
• Memberikan kode yang lebih optimal.
• Menghasilkan kode dengan panjang tetap.
• Tidak ada kelebihan utama.

Efisiensi dalam pengkodean informasi mengacu pada:

• Jumlah total kode yang digunakan.
• Panjang rata-rata kode dibandingkan dengan entropi.
• Redundansi total dalam kode.
• Ketidakpastian dalam kode.

Redundansi dalam pengkodean informasi adalah:

• Pengurangan ketidakpastian dalam kode.
• Penambahan simbol yang tidak diperlukan.
• Simbol yang sering muncul.
• Simbol yang jarang muncul.

Pengkodean Shannon-Fano bekerja dengan cara:

• Membagi simbol berdasarkan frekuensi menjadi dua grup dengan jumlah frekuensi yang hampir sama.
• Membagi simbol secara acak menjadi dua grup.
• Memberikan kode dengan panjang tetap untuk semua simbol.
• Memberikan kode terpendek untuk simbol paling jarang.