Теория информации |
Конспект лекций |
2. ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ
2.4 Условная энтропия. Свойства условной энтропии
Согласно правилу
сложения энтропий количество информации, содержащееся в двух различных
независимых сообщениях, равно сумме количеств информации, содержащихся в
отдельных сообщениях. Однако если сообщение содержит часть другого сообщения,
то количество информации от двух таких сообщений не будет
равно сумме количеств информации от каждого сообщения по отдельности, а будет
меньше. Большое значение для определения количества информации, содержащейся в
статистически зависимых сообщениях, имеет понятие условной энтропии.
Пусть имеются
два источника информации. Первый источник порождает символы
с вероятностями
, а второй источник
порождает символы
с вероятностями
. поскольку сообщения зависимы, то заданного символа
вероятности
появления символов
определяются условными
вероятностями
Для
фиксированного символа совокупность условных
вероятностей определяет частную условную энтропию
,
которая характеризует
информативность сообщений после того, как стало
известен символ
. Если частную условную энтропию усреднить по всем
значениям
, то найдем общую условную энтропию сообщений
относительно сообщений
С учетом выражений для
частных условных энтропий можно получить такое выражение
Известно, что
вероятность совместного появления двух статистически зависимых случайных
величин и
определяется
равенством
Поэтому
окончательное выражение для условной энтропии можно записать так
Основной смысл
средней условной энтропии состоит в том, что показывает, какую энтропию дают
сообщения , когда уже известна энтропия сообщений
.
Приведем
основные свойства условной энтропии.
1.
Если сообщения и
статистически
независимы, то условная энтропия сообщений
относительно сообщений
равна безусловной
энтропии сообщений
, т.е.
.
2.
Если сообщения и
статистически жестко
зависимые, т.е. появление одного из них непременно влечет появление другого, то
условная энтропия сообщений
относительно сообщений
равна нулю, т.е.
.
Пример 2.4.1.
Известны энтропии
двух зависимых источников информации и
:
бит,
бит.
Определить, в каких пределах может изменяться величины условных энтропий
и
.
Решение. На
рисунках представлены различные варианты взаимосвязей энтропий источников и
.
При
отсутствии взаимосвязи между источниками информации:
Если
источники информации независимы, то бит,
а
бит. И эти значения условных энтропий
являются максимальными.
По
мере увеличения взаимосвязи источников условные энтропии и
будут уменьшаться:
При полной статистической зависимости двух источников один из
них не вносит никакой информации, поскольку при появлении неизбежно следует
, т.е.
при
и
). Поэтому.
При
этом бит.
Поэтому
будет изменяться от 10 бит до 5 бит при
максимально возможном изменении
от 5 бит до 0 бит.