SHPORA.net :: PDA

[ Back ]

Объемный способ измерения инф. Объем инф. в сообщ. – это кол-во символов в сообщении.

Энтропийный способ измерения инф Количество информации в сообщении определяется тем, насколько уменьшится мера неопределенности после получения сообщения.

Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона:



Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении количество информации задается формулой Хартли:



Справедливы следующие соотношения:



если и - независимы

Алгоритмический способ измерения инф. Любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, к-ая позволяет ее произвести.