Количествена мярка на информация
Тъй като всяка комуникационна система е предназначена за предаване на информация, проблемът възниква при оценката на количеството информация в предадено съобщение. Изчислете количеството на информацията от гледна точка на неговата стойност на получателя невъзможно, т. За да. В същото съобщение до различни получатели има различна стойност, например, информацията, получена при изучаването на материала, за специалиста е много ценно.
И двете зависимости се използват за определяне на размера на информация:
- .. Изразява линейната зависимост на количеството на информацията в доклада за неговата дължина, т.е., например, книгата има повече информация от тази, че страницата й;
- изразяване на експоненциална зависимост на количеството информация в съобщение от възможните пермутации на същите елементи на съобщението, например, ако източникът на съобщението има речник от 1000 думи, и генерира дължина на съобщението от 50 думи, броят на възможните съобщения ще бъде равна на 50 1000.
За да се отчете и двете от тях в зависимост от логаритмична скала се предприемат действия за оценка на количеството информация. Въз основа на гореизложеното, каза количеството информация в доклада, ще се определя от:
където I (AI) - ай количество информация в съобщението;
P (AI) - вероятност за AI мнения.
Избор логаритъм база единица определя размера на информация. За удобство при използването на база B = 2, а след това информацията се измерва в битове като база в бинарни системи код - двоични или двоични единици (от английската дума двоична цифра). Така, количеството информация се определя като:
От тази формула, от това следва, че един бит информация е:
т. е. 1-битов? е количеството информация, което носи съобщението veroyatnostyuP (AI) = 0,5.
Терминът се използва при изчисляването на бита и техники импулсни защото се използват две публикации образувани equiprobable символи 1 и 0.
Както може да се види от израза, количеството информация, която не може да бъде отрицателна.
Ентропията на източника
Най-истински източник генерира съобщения с различно количество информация, обаче, за решаване на практически проблеми, които трябва да знаете средното количество информация на едно съобщение. Средната сума на информация се определя като очакваният брой на информация в съобщението.
където М - броят на възможните източници на съобщения.
Големината на Н (А) е ентропията на източника и характеризира средният размер на информация на едно съобщение.
Този израз се използва за определяне на ентропията на източници отделни съобщения. За непрекъснати публикации и (т) ентропията теоретично подходи безкрайност, т. К. съобщение може да безкраен брой стойности, следователно P (AI) ®0, и (AI) ®. Въпреки това, ако съобщението е подложена на вземане на проби и да го представи на краен брой стойности квантуват ниво за L, е възможно да се определи средната сума на информация за един брой (ентропия на препратка):
където пи - вероятност за поява в квантована доклад-ниво.
LKB - броя на нивата на квантуване.
Ако преминаването към граница L фиксиране до безкрайност, ние получаваме стойност нарича диференциал ентропия.
Ентропията е обективна характеристика на източника на информация на съобщенията. Той винаги е положителен.
1 0 ентропията нула, ако едно съобщение е значително (Р (AI) = 1), докато други не са възможни.
2 0 ентропия е максимална, когато всички съобщения са еднакво вероятно, и се увеличава с не по-малко вероятни съобщения.
3 0 ентропията има адитивност имот м. Могат да се добавят Е. различни източници на ентропията.
източник съкращения
Излишъка на съобщението разбере присъствието на "излишък" елементи, т.е.. Е. клетки, неносещи семантична натоварване (например, съюзи, предлози). Тези елементи могат да бъдат възстановени с помощта на статистически връзки между други елементи на съобщението. Например, съюзи, предлози и препинателни знаци могат да бъдат възстановени чрез познаването на правилата за изграждане на изречения. По този начин:
претрупаност - мярка за намаляване на мнения без загуба на информация се дължи на статистически зависимости между елементите на съобщението.
Количествена мярка е съотношение на излишъка на информация:
където H (A) - ентропия изчислява, като се вземат предвид статистическите характеристики на съобщенията;
Hmax (A) - максимална източник ентропия, което според втория имота е:
Hmax (A) = log2 Ма; бита / съобщение. (13)
Наличието на съкращения в съобщения има своите положителни и отрицателни страни. Мнение като излишък се нуждае от повече време за предаването, а оттам и по-дълъг заетост време канал. Въпреки това, увеличаването на съкращенията повишава имунитета шум на съобщението. Тя допринася за откриване и коригиране на грешки в получените съобщения. Това се дължи на факта, че за формирането на съобщенията се използва, а не всички възможни комбинации от символи, но само някои (разрешено), които се записват в специални директории (речници). Когато получите съобщение с елементи (думи) не са в директориите, показва наличието на грешки и дефектен елемент може да бъде заменен с подобен в правописа или подходящо значение. Всички езици имат излишък, равен на С "0.5.
източник производителност
източник представяне - е средната сума на информация от източник, намиращ за единица време.
Изпълнение цифров източник съобщение се определя като:
H'd.s (A) = Н (А) / TCP .; бита / сек (14)
TCP, където - средната продължителност на мнения:
където TN - времето, през което се е образувала н съобщения.
Капацитет на непрекъснат източник на съобщения, определени като:
. H'n.s (A) = FS Hotsch (А); бита / сек (16)
където FS - честотата на дискретизация (2Fmax).
.. Ако съобщението е квантувани equiprobable нива, т.е. PI = 1 / L, капацитетът източник могат да бъдат дефинирани като:
H'n.s (A) = log2 FS L .; бита / сек (17)
Свързани статии