Фактът, че информацията винаги е свързано с намаляване на разнообразието и несигурността. Установяване на количествено измерване на несигурност за информацията и определя неговите свойства.

дискретен източник на информация може по всяко време на случаен принцип да приема една от краен множество възможни състояния. Разни състояние UI «реализиран от избора на техния източник." Ансамбъл U състояние се характеризира от сумата на вероятността за поява им:

Представяме държавен източник на селекция мярка за несигурност. Тя може да се разглежда като мярка за количеството информация. За такава мярка може да се приема като броят на изходните състояния (ако equiprobability). След това тя ще отговаря на условието за монотонна увеличение с увеличаване на броя на възможните източници на щата.

Въпреки това, тази мярка не отговаря на изискването за адитивност:

Ако две независими мощност еднакво с броя на състояния N и М разглеждат като един източник едновременно изпълнява двойка състояния Ni MJ. комбинираната източник на несигурност трябва да бъде равна на сумата от оригиналните източници на несигурност:

Уравнение (2.2) е изпълнено, ако, като мярка за източник на несигурност с equiprobable членки предприемат логаритъм от броя на държави:

След това, за N = 1 и Н (U) = 0 притежава претенция адитивност (R. Hartley). Основата на логаритъм не е критично, и определя само размера или единица на несигурност. Технически съображения предполагат избор на база логаритъм - (. От английски двоична цифра) 2. Това устройство се нарича малко несигурност. Понякога ди (от десетична).

Пример: За определяне на минималния брой измервания за определяне на един фалшив монета от 27: H (U) = log3 27. Един тегло три възможни резултати, означава, че несигурността: H (U ¢) = log3 логаритъм основа 3 и също така трябва да бъде равна на 3. Следователно Н (U) = 3log3 3 = Н (U ¢), т.е.. 3 изисква претегляне.

Предложената мярка е успешна, но не се използва широко, тъй като използва твърде груб модел източник на информация (equiprobable).

Шанън предложи широко използвана мярка:

където С - произволно положително число.

Такава мярка се нарича ентропията на отделен източник на информация или ентропията крайния ансамбъл. Това е единственият функционален (одобрение Шанън, стриктно да се окаже Khinchin L.), която отговаря на всички изисквания на мярката на несигурност (като информация).

За двоична система за измерване на приемане C = 1, получаваме

Формалната структура (2.4) е ентропията на физическа система (Болцман). Според втория закон на термодинамиката, ентропията на затвореното пространство се определя като

където мегапиксела - брой молекули в даден пространство; ми - брой молекули, които имат скорост от V до V + Dv.

Тъй мл / мегапиксела е вероятността, че молекула има скорост между V и V + Dv. след това (2.6) може да бъде пренаписана: Н = -.

Съвпадение има дълбок физически смисъл, тъй като и в двата случая на стойност H характеризира степента на разнообразие състояния на системата.

Мярка Шанън Хартли е естествено продължение за случай на ансамбъл с nonequiprobability държави. Тя ви позволява да се вземат предвид статистическите свойства на източника на информация.

Някои свойства на ентропията:

1. Ентропията е реално и не-отрицателна стойност, тъй като за всяко пи (1 £ аз £ N) варира в интервала от 0 до 1, дневник пи е отрицателно и следователно -pi дневник пи положителен.

2. ентропията - ограничено количество. За гледна -pi влезте пи в диапазона 0

3. Ентропията изчезва, ако вероятността от една от държавите, е равен на 1.

4. ентропията е максимална, когато всички държави са еднакво вероятно източник, за които е доказано, използвайки метода на Лагранжевите множители.

5. ентропията на източника с две състояния ф U1 и U2 се променя от 0 до 1, като се постига максимален при равенство на техните вероятности:

6. Ентропията комбиниране на няколко статистически независими източници на информация е сумата от ентропии на оригиналните източници.

7. ентропията показва средната несигурност избиране на една от ансамбъла на състояние и нищо друго (когато се оценява ефекта на несигурност лекарства без значение дали се възстанови 90% от пациентите и 10% от матрицата, или обратното).

Ентропията може да характеризира не само цифрово, но и непрекъснат източник на информация. Ентропията за такъв източник се нарича диференциал ентропия:

Тази стойност Du ® при 0 отива до безкрайност (не двусмислие на безкраен брой възможни състояния (стойности) е безкрайно голяма).

Първият план от дясната страна на (2.7) има крайна величина, която зависи само от разпределението на U. на закона и не зависи от Du стъпка квантуване. Той има точно същата структура като източник ентропията дискретно.

Вторият план зависи само от Du стъпка квантуване. Той е отговорен за това, че H (U) се превръща в безкраен.

По тълкуването на израза (2.7), има два подхода.

Първата е, че като мярка за несигурност непрекъснат източник получаването на първата част. Тази стойност се нарича диференциал ентропията на непрекъснат източник. Тя може да се тълкува като средната несигурността на случайна променлива U изберете произволен закон разпределение в сравнение със средната несигурността в избора на случайна променлива U ¢, промяна в диапазона от 1 и с равномерно разпределение.

Условна ентропия непрекъснат източник може да се изрази

При втория подход за количествено определяне на свойствата на непрекъснат източник на информация, за да се вземе предвид практическата невъзможност за осигуряване на безкрайна прецизност разграничаване непрекъснато количество стойности U. Следователно, всички безкраен брой на U от стойности в рамките на определен точност на измерването трябва да се разглежда като една стойност.

От средната източник на несигурност изберете определена стойност в този случай е необходимо да се изважда средната несигурност и същ източник, получен при условие, че ние знаем резултатите от определяне с определен точност д. След това информационните свойства на непрекъснат източник се измерват с разликата абсолютна (2.7) и (2.8) конвенционални ентропии. Тази разлика е мярка за несигурността отпада, който се нарича количеството информация.

количество информация
като мярка за несигурност отстранен

Прехвърлянето на информация е продиктувано от желанието да се премахне несигурността по отношение на последователността на държави реализира източник. Предаването на информация се извършва по инициатива на източник, или е на разположение при поискване. Информацията, показана е винаги под формата на сигнали. Сигнали от изхода основният източник на входния преобразувател на канал за комуникация, по-нататък съобщения. За разлика от сигнали, формирани върху линейна комуникационна вход.

Отделните първични сигнали с източник съобщение изходни елементи, наречени съобщения. Всеки елемент отговаря на определен източник съобщение държавна информация. Ако информацията за източник е прилагането на набор от държави паралелно (лист хартия с текст), сондата им осигурява последователни елементи на дисплея съобщение (произношение на звуци хората).

Основната идея на теорията на информация - количеството информация - тук се счита във връзка с прехвърлянето на определени статистически несвързани елементи на съобщението. информация Дискретен източник съобщение в същото време е напълно характеризира с ансамбъл

Непрекъснат източник на информация се характеризира с р едномерен плътността на вероятността (Z) на случайна променлива Z.