Всяко съобщение е колекция от информация за физическа система. Така например, на входа на средствата за система за контрол, защита на въздуха може да бъде прехвърлен в съобщение, че в определен летище в момента е определен брой бойци на сигнал, или че на летището от действия от вражески огън, и т.н. Всяко от следните съобщения за описване на състоянието на физическата система. Но в определен предварително определено състояние на физическата система няма смисъл да изпратите съобщението - има смисъл само тогава, когато състоянието на системата случайно. Тъй като обектът, за който се предава информация се счита за някаква физическа система X, която може да бъде на случаен принцип, при всякакви условия - система, която има известна степен на несигурност. Информацията, получена за системата, така че има смисъл, толкова по-голяма несигурност в системата, за да се получи тази информация (априори). Как да се измери степента на несигурност? Степента на несигурност на физическата система се определя не само от броя на нейните възможни състояния, но и вероятността от държавата. А сега да разгледаме някои система X. предполага ограничен набор от държави с вероятност. къде. вероятността, че X се система състояние XI (показано от събитие: системата е в състояние). Също така е ясно, че.
Ентропията се определя като мярка за несигурност на състояние на физическата система. В резултат на получаване на несигурност информационна система може да бъде намалена. Колкото по-голям обем на информация, получена, това, което те имат повече съдържание, колкото повече информация за системата, толкова по-несигурна е неговото състояние. Следователно, количеството информация, измерена чрез намаляване на ентропията на системата, за да се изясни статусът на които са предназначени информация.
X. Помислете система, върху които е направена наблюдение. Нека да направи оценка на информацията, получена в резултат на факта, че държавната X система става напълно известни. Преди приемане на информация (априори) система е ентропията H (X); след получаване на информацията, състоянието на системата е напълно дефинирана, т.е. ентропия става равна на нула. Ние означаваме с Ix информация, получена в резултат се определи състоянието на X. системата Това е намаляване на ентропията или
т.е. количеството на информацията, получена при пълно изясняване на състоянието на физическата система, това е равно на ентропията на системата.
Представлява (1.1) във формата:
Уравнение (1.2) означава, че Ix информация е средната стойност на всички състояния на системата на логаритъм на състоянието на вероятност с обратен знак. В действителност, за всяка стойност Ix (логаритъма на вероятността от-тото състояние) със знак "-" се умножава по вероятността за това състояние, и се добавят всички тези произведения. Всеки един мандат - да се разглежда като лична информация от отделни съобщения, състояща се в това, че системата за X е в състояние XI. Ще означаваме тази информация чрез:
Тогава Ix информация е представена като средна стойност (или общо) информация, получена от всички възможни индивидуални послания въз основа на техните вероятности. Препишете (1.2) във формата на математически очаквания:
Когато X - всяка (случайно) състояние X система.
Тъй като всички пи е не по-голямо от единица, тъй като на лична информация. и пълна не може да бъде отрицателен. Ако всички възможни състояния на системата имат различни вероятности на информация от различни не е същото: най-много информация, са съобщения за тези събития, които априори са най-малко склонни.
Пример. На шахматната дъска в клетка произволно число. Априори, всички разпоредби на фигури на дъската са еднакво вероятни. Необходимо е да се определи информацията от съобщението, в която една клетка е фигура.
Решение. Ентропията на X система с М-членки е равна на equiprobable; в този случай: (dv.ed.), т.е. Съобщението съдържа 6 единици от двоична информация. защото Всички състояния на системата са еднакво вероятни, че една и съща информация има някакви конкретни видове съобщения: цифрата е в площад e2.
Пример. В условията на предишния пример за определяне на лична информация от съобщенията, че цифрата е в един от ъглите табла клетки.
Решение. Приори вероятност от държавата, което според сведенията е. Личната информация е (dv.ed.).
В термодинамиката, ентропията означена с S .. където Q - топлина, Т - температура.
. където Е - енергия на системата, F - безплатна енергийна система.
Да - краен вероятностно разпределение, т.е. набор от не-отрицателни числа, отговарящи на условието.
Ентропията на това разпределение е количеството. (1.5)
къде. Очевидно е, че. където H = 0, ако и само ако всяка вероятност. с изключение на един, са равни на 0.
Функция. , изпъкнала нагоре и. Следователно ,.
В противен случай, ентропията достигне максималната си стойност, когато. "Степента на несигурност" в изпълнение на дадено събитие е различен за различните дистрибуции. (Ако. Не съществува несигурност, и като резултат ще имате случай А1. Ако. Разпределението е с максимална несигурност).
Свързани статии