Теория информации |
Конспект лекций |
Содержание
2. Вероятностный подход к измерению количества информации
2.1 Виды информации
2.2 Оценка количества информации сообщений
2.3 Энтропия. Свойства энтропии
2.4 Условная энтропия. Свойства условной энтропии
2.5 Энтропия объединения. Свойства энтропии объединения
2.6 Относительная энтропия и избыточность сообщения
3.1 Определения и примеры
3.2 Префиксные и разделимые коды
3.3 Неравенство Крафта
3.4 Неравенство МакМиллана
4. Оптимальное побуквенное кодирование
5. Почти оптимальное кодирование4.1 Определения и примеры
4.2 Теоремы Шеннона
4.3 Свойства оптимального побуквенного кода
4.4 Оптимальный код Хаффмана
6. Арифметический код
7. Адаптивные методы кодирования
8. Словарные коды класса LZ7.1 Основная идея адаптивного кодирования
7.2 Адаптивный код Хаффмана
7.3 Код «Стопка книг»
8.1 Общая схема кодирования
8.2 Кодирование с использованием скользящего окна
8.3 Кодирование с использованием адаптивного словаря
Приложение А
Список литературы