Теория информации
Конспект лекций
назад | содержание | вперед

2. ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ

 

2.3 Энтропия. Свойства энтропии

Определение. Количество информации I(L), содержащееся в сообщении, зависит от длины сообщения n, числа возможных состояний m и вероятностей состояний . Поскольку I(L) от величины n зависит линейно, то в теории информации используют удельное количество информации, приходящееся на один символ сообщения. Эта величина называется энтропией Шеннона



Рассмотрим основные свойства энтропии.

  1. Если m=1, т.е. передается сообщение с одним символом и вероятность его появления равна 1, то  Таким образом если сообщение достоверно известно, то энтропия такого сообщения минимальна и равна 0.
  2. Если для k-ого символа алфавита , то, используя правило Лопиталя, можно доказать, что . Таким образом, при малых значениях вероятности , слагаемые, содержащие , не играют существенной роли в выражении энтропии. Так как при малых вероятностях  появления  k-ого состояния легко предсказать его отсутствие в сообщении и, наоборот, при больших вероятностях  k-ого состояния легко предсказать его наличие в сообщении, то в обоих  случаях величина неопределенности, существующей до получения сообщения, будет мала. Соответственно,  невелико и количество информации при снятии этой неопределенности.
  3. Если m=2 и  то выражение для энтропии принимает вид


Энтропия двоичного сообщения изменяется от 0 до 1 и достигает максимума при равных вероятностях , т.е. когда ситуация является наиболее неопределенной.

 


Если m>2, то максимальное значение энтропии также достигается  в случае равновероятных состояний элементов

 

4. Энтропия сообщения, состоящего из некоторых частных независимых сообщений, равна сумме энтропий составляющих его частей.

Действительно, пусть имеются два независимых сообщения A и B с энтропиями H(A) и H(B) соответственно. Вероятность совместного события AB равна произведению вероятностей событий A и B p(AB)=p(A)p(B). Тогда


 

Это свойство энтропии, известное как правило сложения энтропий, хорошо согласуется со смыслом энтропии как меры неопределенности. Правило сложения энтропий распространяется и на большее число сообщений.

 

 

Пример 2.3.4. В таблицах заданы распределения вероятностей двух случайных дискретных величин X и Y

 

 

Сравнить энтропии данных случайных величин.

Решение. Энтропия не зависит от конкретных значений случайной величины. Так как вероятности  появления символов  в обоих случаях одинаковы, то


 

 

 

 

наверх

 


назад | содержание | вперед