Теория информации
Конспект лекций
назад | содержание | вперед

2. ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ

 

2.4 Условная энтропия. Свойства условной энтропии

Согласно правилу сложения энтропий количество информации, содержащееся в двух различных независимых сообщениях, равно сумме количеств информации, содержащихся в отдельных сообщениях. Однако если сообщение содержит часть другого сообщения, то количество информации от двух таких сообщений не будет равно сумме количеств информации от каждого сообщения по отдельности, а будет меньше. Большое значение для определения количества информации, содержащейся в статистически зависимых сообщениях, имеет понятие условной энтропии.

Пусть имеются два источника информации. Первый источник порождает символы  с вероятностями , а второй источник   порождает символы  с вероятностями . поскольку сообщения зависимы, то заданного символа  вероятности появления  символов  определяются условными вероятностями

Для фиксированного символа  совокупность условных вероятностей определяет частную условную энтропию

,

которая характеризует информативность сообщений  после того, как стало известен символ . Если частную условную энтропию усреднить по всем значениям  , то найдем общую условную энтропию сообщений  относительно сообщений

С учетом выражений для частных условных энтропий можно получить такое выражение

Известно, что вероятность совместного появления двух статистически зависимых случайных величин  и  определяется равенством

Поэтому окончательное выражение для условной энтропии можно записать так

Основной смысл средней условной энтропии состоит в том, что показывает, какую энтропию дают сообщения , когда уже известна энтропия сообщений .

Приведем основные свойства условной энтропии.

1.                           Если сообщения и  статистически независимы, то условная энтропия сообщений  относительно сообщений  равна безусловной энтропии сообщений , т.е. .

2.                           Если сообщения и  статистически жестко зависимые, т.е. появление одного из них непременно влечет появление другого, то условная энтропия сообщений  относительно сообщений  равна нулю, т.е. .

 

Пример 2.4.1.  Известны энтропии двух зависимых источников информации и : бит, бит. Определить, в каких пределах может изменяться величины условных энтропий  и .

Решение. На рисунках представлены различные варианты взаимосвязей энтропий источников и .

При отсутствии взаимосвязи между источниками информации:

 

 

 

 

 

 

 

 

 

 

 


Если источники информации независимы, то  бит, а  бит. И эти значения условных энтропий являются максимальными.

По мере увеличения взаимосвязи источников условные энтропии  и  будут уменьшаться:

 

 

 


                                                                                            

                                                                                   

 

При полной статистической зависимости двух источников один из них не вносит никакой информации, поскольку при появлении  неизбежно следует , т.е.  при  и ).  Поэтому.

При этом  бит. Поэтому  будет изменяться от 10 бит до 5 бит при максимально возможном изменении  от 5 бит до 0 бит.

 

 

наверх

 


назад | содержание | вперед