Теория информации
Конспект лекций
назад | содержание | вперед

2. ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ

 

2.5 Энтропия объединения. Свойства энтропии объединения

Определение. Энтропия объединения двух источников сообщений  и определяется суммой по всем возможным состояниям объединения

 

,

где  – вероятность совместного появления двух статистически зависимых состояний  и .

Поскольку вероятность совместного появления двух состояний может быть выражена через вероятность появления одного из состояний и условную вероятность появления другого состояния равенством  , то 

Первая сумма в соотношении представляет собой энтропию сообщений  (поскольку ), а вторая сумма – условную энтропию . Таким образом, окончательно имеем

.

Аналогично можно получить симметричное соотношение

 

Приведем основные свойства энтропии объединения.

 

1.    

2.     Если источники сообщений  и  статистически независимы, о энтропия объединения равна сумме энтропий источников сообщений  и .

3.     Если два источника сообщений  и  являются полностью статистически зависимыми, то .

 

Пример 2.5.1 Закон распределения вероятностей системы, объединяющей зависимые источники информации  и , задан в таблице совместных вероятностей:

 

        Y

X

y1

y2

y3

x1

0.4

0.1

0

x2

0

0.2

0.1

x3

0

0

0.2

 

Определить величины  , , , , .

Решение

1. Сначала вычислим безусловные вероятности  и .

а) Сложив вероятности по строкам таблицы, получим вероятности появления значений

б) Сложив вероятности по столбцам таблицы, получим вероятности появления значений

2. Вычислим теперь энтропии источников  информации  и  по формуле Шеннона, используя вычисленные ранее значения безусловных вероятностей.

 бит

 бит

 

3. Определим условные вероятности события  при условии выполнения события  по формуле . Тогда . Величины  заданы в таблице, а  – вычислены ранее.

Вычисленными результатами заполним таблицу условных вероятностей события  при условии выполнения события .

 

 

 

 

 

        Y

X

y1

y2

y3

x1

0.8

0.2

0

x2

0

0.67

0.33

x3

0

0

0.1

 

4. Определим условную энтропию источника информации  при условии, что сообщения источника  известны, по формуле

Аналогично можно вычислить условную энтропию источника информации  при условии, что сообщения источника  известны.

5. Общая энтропия зависимых источников информации  и  определяется по формуле

 

Проверим результат по формуле

 бит

Значения совпадают.

 

 

наверх

 


назад | содержание | вперед