За сравнение на различни източници на съобщения и различни комуникационни канали, за да се въведе някакъв количествен показател, чрез който да се измери, съдържаща се в съобщението, както и информацията, носена от сигналите. Строги методи за количествено определяне на информацията, бяха предложени от Shannon през 1948. и доведе до изграждането на теорията на информацията е математическата основа на теория на комуникацията, компютърни науки, както и редица сродни области на науката и технологиите.
Нека първо разгледаме основните идеи на тази теория, както се прилага към дискретен източник, предвижда поредица от съобщения. Нека източникът изпраща съобщение от един ансамбъл. Намери определянето на количеството на информацията, съдържаща се в този доклад, въз основа на следните физически изисквания:
1. Размерът на информация, за да бъде добавка количество, тоест, в две независими доклади тя трябва да е равна на сумата от количеството информация, във всяка от тях.
2. Размерът на информация в известието за определени събития, е нула.
3. Размерът на информация не трябва да зависи от качеството на съдържанието на съобщенията, по-специално, степента на нейното значение за получателя, за възможните последици от своето предаване, емоционално оцветяване и т.н.
Така, за да се определи количеството на информация в съобщението трябва да се основава само на този параметър, който характеризира най-общата форма на съобщение от ансамбъл А. такъв параметър е очевидно вероятност Р (а), че източникът изпраща съобщението. Следователно, количеството на данни и (а). съдържаща се в съобщението, трябва да е функция на това
Допълнително уточняване на желания определяне не е трудно, когато смятате, първите две изисквания. Нека А1 и А2 - две независими мнения. Вероятността, че източникът ще изпрати тези две мнения (един след друг), е равен на стр (А1, А2) = р (а1). р (а2), и информацията, съдържаща се в него, трябва да отговарят на адитивност хипотезата, т.е. I (А1, А2) = I (а1) + и (а2). Ето защо е необходимо да се намери функция на вероятността р, с имота, че когато се умножава се добавят стойности на два аргумента. Само една функция - логаритмична I (A) = KL ог р (а), където К всяка константа, и логаритъма се приема по някаква причина. С тази дефиниция, количеството информация се извършва и втори изискване за р (A) = 1 I (A) = KL og1 = 0.
За измерване на количеството информация, без отрицателно число, винаги ще избере к = 1, защото формула (ако основата на логаритъма е по-голяма от един). Ето защо:
Основата на логаритъм в (2.1) е избран да бъде все 2. получен по този единица информация се нарича двоична единица, или малко. Това е количеството информация в съобщение за събития, настъпили с вероятност 0,5, т.е. такива, които могат да бъдат или да не се случи еднаква вероятност. Този уред е най-удобен, поради широкото използване на двоични кодове в информатиката и комуникациите. Теоретичните изследвания се използват понякога натуралния логаритъм на измерването на информация във физически единици. Natural единица в пъти по-бинарни. Ние ще използваме най-вече двоични и допълнително обозначение ще означава л ог двоичен логаритъм.
Тя може да се характеризира с ентропията като мярка за разнообразие, причинени от източника на съобщението.
Ентропията е основната характеристика на източника, толкова по-висока е тя, толкова по-трудно да си спомня (запис) на съобщението или да го предава по комуникационен канал. Необходимо в много случаи енергийната стойност на предаване на съобщението е пропорционална на ентропията.
Основните свойства на ентропията:
1. ентропията не е отрицателно. Тя е равна на нула само за "изродено" ансамбъл, когато едно съобщение се предава с вероятност 1, а останалите имат нулева вероятност.
2. ентропията добавка. Това означава, че ако вземем предвид последователността на п съобщения като съобщение "по-голяма" един. източник ентропията на консолидирани такива съобщения ще бъде н пъти по-голям от оригиналния източник на ентропия.
3. Ако ансамбъл K съдържа различни съобщения, с равенство се наблюдава само когато всички съобщения се предават с еднаква вероятност и самостоятелно. Броят K е обемът на източник азбука.
По-специално, за двоично източник memoryless когато k = 2, ентропията е максимална при Р (а1) = Р (а2) = 0,5 и равна л og2 = 1 бит. Зависимостта на ентропията на източника на P (а1) = 1-P (а2), показана на Фиг.
Това означава, че количеството на информацията в съобщението е по-голямо, отколкото е по-малко вероятно, или, в противен случай, това е повече от изненада.
Ако източникът предава последователност от съобщения зависими помежду си, получаването на предходните съобщения може да се промени вероятността бъдеще и следователно количеството информация в него. Той трябва да се определя от условната вероятност за предаване на съобщение, когато познатото преди един-1. един-два ...:
Над определено количество информация е случайна променлива, тъй като самите случайни съобщения. За да се характеризира целия ансамбъл (или източник) на съобщения, използвани от очаквания брой на информация, наречена ентропия и означен Н (А):
Тук очакването, както винаги, щандове за осредняване ансамбъл от съобщения. Това трябва да се вземат под внимание всички вероятностни взаимоотношенията между различните съобщения.
По-големият източник на ентропия, толкова по-голяма степен на изненада съобщения, изпратени до тях в средата, което означава, че е по-несигурно очакваното съобщение. Ето защо, ентропия често е наричан като мярка за несигурност. След получаване на съобщението, ако се приема правилно, всяка несигурност, се елиминира. Това ни дава възможност за лечение на количеството информация, като мярка за намаляване на несигурността.
нарича излишък обем източник азбука К. Той показва съотношението на максималната възможна източник не се използва при тази азбука ентропия.
Някои източници на посланията на фиксирана ставка, харчат средно време T за всяко съобщение.
Капацитет (в бита за секунда) на източник H "(А) ще се нарича общо ентропията на съобщения, предадени за единица време:
Свързани статии