Информация за кодиране и съкращения на кода, статията позиция
Всяко съобщение може да бъде представена в различна форма, която се кодира по различни начини. Различни начини за кодиране те заемат неравни количества информация. Оптимално код ще бъде този, като се използва средна стойност е ентропия на един символ, е равна на източник на информация ентропията на.
В повечето случаи се използват системи за кодиране, имат излишък, който се налага да се отбележат повече информация, отколкото се съдържа в кодирано съобщение. Излишъкът се определя по формулата # 92; [E = 1 - # 92; Frac # 92], където # 92 (Н # 92) - ентропията на съобщението, # 92 (Q # 92) - средният размер на информация за един символ на кодирания съобщението.Колкото по-висок код на съкращенията, толкова по-голяма вероятността от грешки предаване на информация, но по-голяма е необходимо за неговото съхранение и предаване на канала с висока пропускателна способност сума. Физически човешки езици се характеризира с много висока степен на излишък е също голям излишък на генома на висшите организми съхраняват в ДНК молекули.
стойност # 92 (Н / Q # 92) се нарича ефективността на код. За оптимална код # 92 (Н / Q = 1 # 92) и няма излишък, т.е. # 92 (Е = 0 # 92).
Redundancy кодиране процес редукция се нарича информация за компресиране и се използва за намаляване на размера на паметта, необходим за съхранение на информация. За да компресирате информацията, съхранена в паметта ispolzuyutsya- архиватор и пакетиране.
Пример: За да се определи ентропията на информацията, съдържаща се в доклада, "учените - светлината, а не учен - тъмнината" и код съкращения. Всеки знак в съобщението е кодирана от 1 байт (8 бита).
Решение: изчисляване на броя на знаците в съобщението, за пропуски простотата игнориране: N = 26. Ние намерите на честотата на повторение всеки знак (вероятността от съобщението), състоящ се от таблицата по-долу на снимката в ляво.
Специфична ентропия (ентропия на един знак в съобщението) в бита на символ е # 92 [# 92; тилда Н = 5 # 92; cdot # 92; Frac> 13+ # 92; Frac> # 92; Frac> + 2 # 92; cdot # 92; Frac> # 92; Frac> + 4 # 92; cdot # 92; Frac> 26 # 92; прибл #] 92; # 92 [ # 92; прибл # 92; Frac> # 92; cdot 3,7004 + # 92; Frac> # 92; cdot 2,1155 + # 92; Frac> # 92; cdot 3,1155 + # 92; Frac> # 92; cdot 4.7004 # 92; около 3.3535 # 92] Общите ентропията Публикации # 92 (Н = 3,3535 # 92; cdot 26 = 87,19 # 92) малко. Броят на битовете, необходими за кодиране на всеки символ на един байт, е # 92 (Q = 208 # 92 # 92 ;;;) малко.
съкращение код # 92 (Е = 1-87.19 / 208 = 0,58 = 58% # 92).
Свързани статии