Di balik foto yang kamu unggah ke cloud, chat WhatsApp yang terasa ringan, sampai file video yang lancar dikirim, ada dua konsep kunci yang bekerja diam diam: entropy dan redundansi.
Keduanya menentukan seberapa padat data bisa dikompresi, seberapa tangguh ia menghadapi noise, dan seberapa efisien sistem penyimpanan modern digunakan.
Artikel ini merangkum ide utama entropy dan redundansi berdasarkan teori Claude Shannon dan pengembangannya dalam kompresi data serta kode koreksi galat, dengan contoh praktis di dunia digital. essrl.wustl.edu+1
Apa itu Entropy Dalam Informasi
Claude Shannon mendefinisikan entropy sebagai ukuran rata rata ketidakpastian atau informasi yang dihasilkan oleh suatu sumber pesan. Semakin acak simbol yang keluar, semakin tinggi entropinya dan semakin banyak bit minimum yang dibutuhkan untuk merepresentasikan tiap simbol.essrl.wustl.edu+1
Secara sederhana:
- Sumber yang sangat teratur, misalnya teks yang hanya berisi huruf “A” berulang, punya entropy rendah.
- Sumber yang sangat acak, misalnya deret bit hasil lempar koin ideal, punya entropy tinggi.
Shannon membuktikan bahwa entropy memberi batas teoritis seberapa jauh data bisa dikompresi tanpa kehilangan informasi, dikenal sebagai source coding theorem. Wikipedia+1
Redundansi: Boros atau Justru Penyelamat
Redundansi adalah bagian dari representasi data yang sebenarnya tidak menambah informasi baru. Secara kasar, kita bisa pikir:
Redundansi = kapasitas maksimal simbol − entropy aktual.
Dalam teks bahasa alami, huruf dan kata tertentu muncul jauh lebih sering dibanding yang lain. Ini menciptakan pola yang membuat data menjadi redundan, artinya masih ada ruang untuk dikompresi tanpa kehilangan isi. Shannon menekankan bahwa kode yang baik bisa mengurangi redundansi sampai mendekati batas entropy. essrl.wustl.edu+1
Yang menarik, di tempat lain justru kita sengaja menambah redundansi, misalnya saat memakai kode koreksi galat agar data tahan terhadap noise. Hamming menunjukkan bahwa menambah beberapa bit paritas saja sudah cukup untuk mendeteksi dan bahkan mengoreksi galat satu bit pada pesan biner. Vintage Technology Digital Archive+1
Jadi:
- Di kompresi data, redundansi adalah “lemak” yang ingin dikurangi.
- Di kode koreksi galat, redundansi adalah “otot” tambahan yang menyelamatkan data dari kerusakan.
Dari Teori ke Algoritma: Huffman, Lempel Ziv, dan Kawan kawan
Kode Minimum Redundansi ala Huffman
David Huffman mengembangkan cara sistematis untuk membangun kode prefiks yang minimum redundansi. Intinya, simbol yang sering muncul diberi kode bit pendek, simbol yang jarang diberi kode bit panjang. Hasilnya, rata rata panjang kode mendekati entropy sumber. compression.ru+1
Prinsip Huffman dipakai luas di format seperti:
- Kompresi teks klasik
- Bagian entropi coding pada banyak standar kompresi gambar dan video
Kompresi Berbasis Pola ala Lempel Ziv
Ziv dan Lempel mengusulkan algoritma kompresi universal yang tidak butuh model probabilitas eksplisit, tetapi membangun kamus pola substrings yang berulang dari data itu sendiri. Duke Computer Science+1
Algoritma keluarga LZ menjadi dasar dari:
- ZIP, gzip
- PNG
- Banyak skema kompresi lain di protokol jaringan dan sistem file
Secara teori, untuk sumber stasioner dengan cukup data, rasio kompresi LZ dapat mendekati batas entropy yang dirumuskan Shannon. GWLucastrig+1
Redundansi untuk Keandalan: Kode Hamming
Dalam kanal nyata selalu ada noise. Richard Hamming menunjukkan bahwa dengan menambahkan beberapa bit ekstra yang dihitung dari bit data, penerima bisa mendeteksi dan mengoreksi kesalahan satu bit. Vintage Technology Digital Archive+1
Gagasan ini berkembang menjadi keluarga error correcting code yang digunakan di:
- Memori komputer dan SSD
- Komunikasi satelit
- Standar telekomunikasi digital
Di sini redundansi bukan dibuang, tetapi diatur cermat agar cukup untuk mencapai tingkat keandalan tertentu sesuai theorem kanal bising Shannon. Wikipedia+1
Entropy untuk Mengukur dan Mengurangi Redundansi Data Modern
Penelitian lebih baru tidak hanya memakai entropy untuk merancang kode, tetapi juga untuk menganalisis kemubaziran data dalam dataset besar.
Li dan kolega menunjukkan bahwa banyak dataset citra publik mengandung data sangat redundan. Dengan metode screening berbasis entropy, mereka dapat memilih hanya sebagian kecil sampel tetapi tetap mempertahankan mayoritas akurasi model, sehingga menghemat penyimpanan dan waktu pelatihan. ScienceDirect+1
Pendekatan sejenis juga dipakai dalam penilaian kualitas informasi citra penginderaan jauh, di mana node entropy digunakan untuk memilih sampel yang paling informatif untuk klasifikasi yang efisien. MDPI
Contoh Kasus Praktis
Kasus 1 : Chat Aplikasi Pesan: Kompresi Teks dan Stiker
Bayangkan kamu mengirim ratusan pesan teks dan stiker setiap hari di aplikasi pesan. Agar ringan dan hemat kuota, server dan klien menggunakan kompresi:
- Teks
- Statistik bahasa menunjukkan huruf dan kata tertentu jauh lebih sering.
- Sistem memakai gabungan teknik seperti Huffman dan Lempel Ziv untuk memetakan teks menjadi bit yang lebih pendek, mendekati batas entropy bahasa. compression.ru+1
- Stiker dan gambar
- Dikompresi dengan skema yang memanfaatkan korelasi piksel, lagi lagi mengurangi redundansi spasial dan warna.
Hasilnya: ukuran file turun drastis, tetapi informasi yang kamu lihat tetap sama, karena sistem hanya menghilangkan redundansi, bukan isi pesan.
Kasus 2 : Penyimpanan Foto di Cloud: Entropy, Deduplikasi, dan Screening Data
Layanan cloud yang menyimpan miliaran foto perlu menghemat ruang dan biaya:
- Foto dikompresi memakai algoritma yang mendekati batas entropy citra, misalnya menggabungkan transformasi dan entropi coding. Cambridge University Press & Assessment
- Sistem deduplikasi memeriksa blok data yang hampir identik. Semakin rendah entropy blok tertentu, semakin besar peluang ia muncul berulang dan layak di deduplikasi.
- Untuk keperluan pelatihan model visi komputer internal, teknik screening berbasis entropy seperti yang diusulkan Li dan kolega membantu memilih hanya subset foto yang paling informatif tetapi tetap representatif. ScienceDirect+1
Dengan cara ini, cloud dapat “menyimpan lebih banyak dengan data lebih sedikit”, tanpa mengorbankan kualitas layanan.
Kasus 3 : Transmisi Telemetri Satelit: Kombinasi Kompresi dan Kode Hamming
Data sensor dari satelit dikirim ke bumi melalui kanal radio yang berisik dan mahal:
- Data dikompresi terlebih dahulu agar mendekati batas entropy, sehingga bit yang dikirim minimal. Wikipedia+1
- Setelah itu, ditambahkan bit redundan dari kode Hamming atau kode lain yang lebih modern. Bit ini memungkinkan stasiun bumi mendeteksi dan mengoreksi galat yang muncul selama perjalanan. Vintage Technology Digital Archive+1
Gabungan dua langkah ini membuat sistem tetap efisien (hemat spektrum dan energi) sekaligus andal.
Penutup
Entropy dan redundansi adalah dua sisi yang saling melengkapi dalam dunia digital:
- Entropy memberi kita ukuran seberapa padat informasi bisa dikodekan.
- Redundansi memberi ruang untuk kompresi yang efisien sekaligus perlindungan terhadap galat.
Mulai dari teori Shannon tentang batas kompresi, kode Huffman dan Lempel Ziv untuk mengurangi redundansi, sampai kode Hamming dan penelitian terbaru tentang screening data berbasis entropy, semuanya menunjukkan bagaimana matematika membantu dunia digital menyimpan dan mengirimkan data secara lebih cerdas. ScienceDirect+4essrl.wustl.edu+4compression.ru+4
Referensi Jurnal Ilmiah
- Shannon, C. E. “A Mathematical Theory of Communication.” Bell System Technical Journal, 1948. essrl.wustl.edu+1
- Huffman, D. A. “A Method for the Construction of Minimum Redundancy Codes.” Proceedings of the IRE, 1952. compression.ru+1
- Ziv, J., Lempel, A. “A Universal Algorithm for Sequential Data Compression.” IEEE Transactions on Information Theory, 1977. Duke Computer Science+1
- Hamming, R. W. “Error Detecting and Error Correcting Codes.” Bell System Technical Journal, 1950. Vintage Technology Digital Archive+1
- Li, Y., Yang, J., Wen, J. “Entropy based Redundancy Analysis and Information Screening.” Digital Communications and Networks, 2023. ScienceDirect+1