Ентропия и информация

За практиката е важно да бъде в състояние да числено оценяване на степента на несигурност за различно оформени опитите да бъде в състояние да ги сравните.

Нека започнем с преглед на опита, с K еднакво вероятни резултати. Степента на неопределеност-delonnosti всеки такъв експеримент определя от броя К. При К = 1 резултат опит не искат да се създаде NE-случаен. За по-големи стойности на K предсказване на изхода на опит става трудно.

Така желания цифров характеристика степента на несигурност трябва завиждам К. ТЕ е функция е (к); е (1) = 0; когато аргументът увеличава, функцията трябва да се увеличи. За по-пълно определение на F на функция (к), трябва да се Предвиждане-да й разкриват, допълнителните изисквания.

Помислете предизвикателно преживяване. състояща се в едновременното провеждане на тестове и. Несигурността изпълнява комплексен опит повече несигурност опит. защото несигурност му трябва да се добави опита несигурност. Поради това е естествено, но счита, че степента на несигурност е сумата от опита на несигурност, и характеризират.

Да предположим, че к ∋ л еднакво вероятни резултати, к; л. Като се следното условие-Vija Kotormo трябва да отговаря на функцията F (KL) = F (к) + F (л). Последното условие-Vie внушава идеята да се вземе мярка за несигурността на опит, като K-равни резултати noveroyatnyh брой дневник к. влизане (KL) = влизане к + влизане л. Такова определяне на мерки несигурност в съответствие с първоначалните условия, че е (1) = влизане 1 = 0; F (к) - нарастваща функция. Тя може да се докаже, че логаритмична функция е еднолично Xia които отговарят на тези условия.

Забележка: Трябва да се отбележи, че изборът на основата на логаритъма не играе голяма роля, poskol-ку се дължи на добре познатата формула на прехода може да пише logb а = logc а / logc б ⇒ logb к = logb на ∋ Лога к се намалява до умножаване с постоянна величина, т.е. еквивалентен на една проста промяна в мерната единица за степен neopredelonnosti.Obychno степента на несигурност-ност на вземете логаритъма при основа 2: log2k = logk. освен това за определяне на основата 2 не се разтваря. Т.е. единица за измерване на степента на несигурност предприеме опит несигурност с 2 equiprobable резултат: log2 2 = 1 бит. В това, което следва, ще благоприятства-vatsya двоични единици.

вероятност Таблица опит като K еднакво вероятни резултати:

Ако опитът К двойки несъвместими резултати, Н () = 0 е равна на много, че един изход - значително събитие, и всички останали - това е невъзможно, като р (А1) +. + P (Ak) = 1. Това е добре съответства на стойността

Н () -само опит в този случай не съдържа неопределеност.

2. От всички преживявания в K резултат най-сигурно е опитът на опит с K-noveroyatnymi равни резултати. Може да се покаже, че неравенството

Равенството се постига при равни вероятности P (Ai); I = [1; к]

Пример: Има два урни с 20 топки kazhdaya.Pervaya- 10belyh, 5chornyh, 5kras-ционни. Второ - 8 бели, 8 черни, 4 червено.

От всяка клетка 1 се отстранява от една топка. Резултатът от двата теста трябва да се счита за по-сигурно?

Решение: Нека не преживява като A1iA2.A1