Ентропията като мярка за несигурност на физическата система
Детайли са обект на съхранение, предаване и преобразуване се нарича информация. количеството информация, мярка, основана на концепцията за ентропия. Ентропия - мярка за неопределеността на състоянието на системата X (случайна променлива), с ограничен или изброимо множество резултати.
Което означава несигурност и как да го измери?
Пример. Да предположим, че има две системи: първата система - зар (а 6 държави), втората система - монета (има 2 състояние).
Въпросът е какъв вид състояние на системата е по-трудно да се предскаже (несигурността на система повече)? Естествено несигурността на първата система по-горе. По този начин, на степента на несигурност на системата зависи от броя на нейните възможни състояния. Въпреки това, броят на държавите, не е изчерпателен характеристика на степента на несигурност.
Ние показваме в този пример, за системи с две устойчиви състояния. Да предположим, че има 2 М1 и М2 монети (от монета има две възможни състояния: 0 орел и опашки P):
P аз - вероятност за намиране на монети могат ези-тура.
Лесно е да се забележи, че несигурността на двете системи ще бъде различен. Неточността на първата система повече, тъй като таблицата показва, че втората монета е почти постоянно в състояние на орел. Първият е известно, в която монета е налице, той е еднакво вероятно да бъде в състояние, или ези-тура състояние.
По този начин, ние виждаме, че степента на несигурност се определя и от вероятностите за състояния на системата. Както априори несигурност мярка теория информация ентропия подсказва.
Шанън ентропия е равна на сумата на продукти от вероятностите за състояния на системата в логаритмите на тези вероятности, направени с обратен знак:
където X = (х 1. х2 ... х I, ... х п.) - множество възможни състояния X. система получаване член с вероятности р (х 1), р (х 2), ... р (XI), ... р (хп),
п - броят на възможните състояния. В същото време трябва да се отбележи състояние нормализиране:
Във формула 1.1 дневник основа може да бъде двоичен, знак или естествено. Ако използвате двоичен база, тя може да се пропусне. В основата на двоичен ентропия се измерва в битове или двоичен един. Формула (1.1) може да бъде представена в следната форма:
Ентропията характеризира средната стойност и представлява очакването - Дневник стр. т.е., Н (X) = М [- Log Р (х)].
Помислете за свойствата на ентропия:
1. ентропията е стойността на реалното, неотрицателна и ограничена от: Н # 8807; 0.
Това следва от израза (1.2).
Помислете за един мандат - п.к. дневник пк. Пк При смяна от нула до един е положителен реален план се променя от нула, чийто връх бе п.к. =. отново намалява до нула (sm.ris.1.1)
В действителност, отдаване под наем п.к. до нула, получаваме
ако смените
ние получаваме следната формула: т.е. терминът изчезва, когато РК = 0. Ако п.к. = 1, лог PK = 0, а срокът е нула: - п.к. дневник п.к. = 0.
Максималната стойност от условието:
- влизане п.к. е = 0. Следователно п.к. х е = 1; Заместник на Hk
Максималната стойност е 0.531.
2. ентропията е минимална и е равна на нула, ако поне едно от състоянията на системата е сигурно: Н = Hmin = 0.
Нека системата има три състояния, и вероятностите за тези състояния ще бъде равен на: р = 1 р 2 = 0, р 1 = 1. Тогава
3. ентропията е максимална и е равна на логаритъм от броя на държавите, в случай че състоянието на системата са еднакво вероятно:
4. Ентропията промени двоична стойност от 0 до 1.
Да предположим, че р = р 1; р = 2 (1-р); След Н = - р х Log Р - (1-р) х дневник (1-р);
Ентропията е нула, когато вероятността от една от страните е нула, тогава се увеличава и достига своя максимум при р = 0,5, т.е. когато р = 1, р 2 = 0.5. В този случай, съобщения несигурност при получаване на по-голям.
Основата на логаритъм може да се изрази в двоични, десетичен или физически единици. Това ентропия изчислите основата може да се изпусне в двоични единици:
Изчисляване на ентропията може да бъде опростено чрез въвеждане на специална функция # 951; (п) =. след Н (х) = # 931; # 951; (п).
За да се изчисли ентропията с тази функция са специално формулирани маса (виж Таблица 1, Приложение 1).
Свързани статии