Теория информации |
Конспект лекций |
2. ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ
2.3 Энтропия. Свойства энтропии
Определение. Количество информации I(L), содержащееся в сообщении, зависит от длины сообщения n, числа возможных состояний m и вероятностей состояний . Поскольку I(L) от величины n зависит линейно, то в теории информации используют удельное количество информации, приходящееся на один символ сообщения. Эта величина называется энтропией Шеннона
Рассмотрим основные свойства энтропии.
Энтропия двоичного сообщения изменяется от 0 до 1 и достигает максимума при равных вероятностях , т.е. когда ситуация является наиболее неопределенной.
Если m>2, то максимальное значение энтропии также достигается в случае равновероятных состояний элементов
4. Энтропия сообщения, состоящего из некоторых частных независимых сообщений, равна сумме энтропий составляющих его частей.
Действительно, пусть имеются два независимых сообщения A и B с энтропиями H(A) и H(B) соответственно. Вероятность совместного события AB равна произведению вероятностей событий A и B p(AB)=p(A)p(B). Тогда
Это свойство энтропии, известное как правило сложения энтропий, хорошо согласуется со смыслом энтропии как меры неопределенности. Правило сложения энтропий распространяется и на большее число сообщений.
Пример 2.3.4. В таблицах заданы распределения вероятностей двух случайных дискретных величин X и Y
Сравнить энтропии данных случайных величин.
Решение. Энтропия не зависит от конкретных значений случайной величины. Так как вероятности появления символов в обоих случаях одинаковы, то