Теория информации |
Конспект лекций |
2. ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ
2.1 Виды информации
Информация может быть двух видов: дискретная (цифровая) и непрерывная (аналоговая). Дискретная информация характеризуется последовательными точными значениями некоторой случайной величины, а непрерывная – непрерывным процессом изменения некоторой случайной величины (сигнала). Непрерывную информацию может, например, выдавать датчик атмосферного давления и датчик скорости автомашины.
Дискретную информацию можно получить, измеряя непрерывную информацию через определенные интервалы времени. Чем короче эти временные интервалы (периоды дискретизации), тем точнее происходит перевод непрерывной информации в дискретную. Однако с уменьшением периода дискретизации растет и размер дискретных данных, и, следовательно, сложность их обработки, передачи и хранения. Таким образом, необходимо выбирать достаточно небольшой временной интервал с одной стороны для точной дискретизации непрерывной информации, а с другой – процесс дискретизации не должен быть слишком трудоемким. В дальнейшем, будет всегда рассматриваться дискретная информация.
Дискретная информация удобнее для обработки, хранения и передачи, поскольку она описывается последовательностью чисел. Если представить каждое число в двоичной системе счисления, то дискретная информация предстанет в виде последовательности нулей и единиц. Одна позиция для двоичной цифры в описании дискретной информации называется битом. Бит служит для измерения информации. Байт – это набор из 8 битов.
Пример 2.1.1. Сколько битов потребуется, чтобы размесить в памяти компьютера фразу «Я не горку шла»?
Поскольку каждый символ имеет ASCII-код объемом 8 битов, то всего потребуется 14 символов x 8 битов = 112 битов.