Помислете за източник на информация, който осигурява поредица от независими дискретни XI съобщения. Всяко съобщение е произволно избран от азбуката на източника X = x1 ... хп (п - източник азбука размер). Този източник на информация, се нарича източник, без памет с дискретна краен азбука и съобщенията, произведени от тях, се наричат прости. В бъдеще, за да се опрости изчисленията, че ще работи с такива източници.
Обемът на информацията, съдържаща се в един елементарен източник на съобщението (виж ур. 7) също направих се да не би като някои основни послания могат да носят много информация, но в същото време да се предава рядко, докато други съобщения могат да носят малко информация, но и да прехвърли част , Следователно, източникът може да се характеризира със средна сума на информация, свързана с един елементарен съобщение - ентропия източник [1, 6, 7]:
където X - Азбука източник на информационни съобщения; п - източник размер азбука.
Ентропията има редица свойства:
1. Първо, H (X) ≥ 0. позитивност H (X) се вижда от (8) като вероятността за положителен и лежат между нула и единица, логаритмите на броя на отрицателни и равно на нула е възможно само за такъв случай, вероятността от поява на една от произхода на съобщение е равна на единица, а за останалите е нула.
2. На второ място, с дадено количество от източник азбука, и п е равно на максималната ентропия H (X) = log2n. когато вероятността от поява на съобщенията източници са равни, т.е. Публикации еднакво.
3. На трето място, ентропията е добавка:
където H (X) - ентропия първи източник на информация; N (Y) - втори източник на информация ентропията.
Пример 2 представлява източник на съобщение във форма на кошници, които са топки от три цвята: червено, зелено и синьо. Тези топки (съобщения), определят размера на изходния азбука.
Ние изчисляваме ентропията на източника на съобщения, ако:
1) червени топки - 7 бр. зелени топки - 5 бр. сини топки - 2 бр.
2) червено, зелено и синьо топки - 2 бр.
Решение: В кошницата са топки от три цвята, следователно размерът на източник азбука п = 3.
Ние изчисляваме ентропията на източника:
Както се вижда от изложеното по-горе, ентропия определя средния брой нули и единици, необходими за кодиране на оригиналния източник информационни символи. Тя е максимално, когато героите са генерирани от източник с еднаква вероятност. Ако някой от персонажите се появяват по-често, отколкото другите, ентропията намалява. По-малката ентропията източник е различно от максималното, за по-умен той работи, толкова по-информацията, която носят символи.
За сравнение се въвежда на информация за източници параметър наречен съкращения и равна на [1, 6, 7]:
където Hmax (X) - максимално източник ентропията.
Източник съкращения което R = 0, наречен оптимално. Всички реални източници имат излишък R ≠ 0.
Да предположим, че сме получили една и съща сума на информация I0 на действителните и оптимални източници. Тогава броят на к символи. изразходвани за прехвърлянето на количеството информация, истинският източник, е по-голям от броя kmín прекарал най-добрият източник на знака. Знаейки символи брой К и kmín съкращения може да се изчисли:
Излишъкът увеличава времето за предаване на данни, така че не е желателно. Въпреки това, при прехвърляне на съобщения, наличието на смущения в комуникационния канал, съкращения се използва за увеличаване на имунитета шум на предаваните съобщения (контрол грешка кодиране).
Пример 3. Нека източник предава на българския текст. Ако не се прави разлика между буквата "е" и "д", както и меки и твърди знаци, Българската азбука буквата 31; добавите интервал между думите и да получите 32 символа.
Ние показваме, че двоичен код код петцифрено (Боде) не е оптимално за предаване на текста на български език.
Решение: В кода за представяне на всяка писмо прекарал пет елементарни символи. Максимална източник ентропия, се използва за предаване пет цифрен код азбука български Боде Hmax е равна на (X) = log2 5 = 32 (бита). В този случай, се смята, че всички букви от българската азбука имат еднаква вероятност и статистически независими.
Предвид различните вероятностите за настъпване на писма в текстов ентропията е:
Като се има предвид връзката между двете и ентропията на три последователни писма се намира:
4. Като се има предвид съотношението между осем символи или повече ентропията е:
На следващо място, всичко остава непроменен.
Изчисляваме съкращения, предоставена от източник на информация в кодирането на символите пет-битов двоичен код Боде:
По този начин, можем да заключим, че всеки шест от десет букви са излишни и не може просто да бъде прехвърлена, т.е. съкращение български текст е 60%.
Същите и имат по-висок излишък, както и други източници на информация - говор, музика, телевизионни изображения и т.н.
Познаването на ентропията H (X) и времето. което отнема средно на всеки елементарен съобщение, че е възможно да се изчисли един от най-важните характеристики на източника - изпълнението (среден размер на информация за единица време) [1, 6, 7]:
Свързани статии