Избыточность информации

В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете отредактировать эту статью, добавив ссылки на авторитетные источники. Эта отметка установлена 13 мая 2011.

Стиль этой статьи неэнциклопедичен или нарушает нормы русского языка. Статью следует исправить согласно стилистическим правилам Википедии.

Избыточность — термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).

Количественное определение

Информационное содержание одного сообщения в потоке, в наиболее общем случае, определяется как:

$r=\mathbb E H(M_t|M_{t-1},M_{t-2},M_{t-3}, \dots)$

Обозначим как R логарифм числа символов в алфавите сообщений:

$R = \log |M|$

Абсолютная избыточность может быть определена как разность этих двух величин:

$D = R - r$

Соотношение $\frac D R$ называется относительной избыточностью и дает математическую оценку максимальной степени сжатия, на которую может быть уменьшен размер файла.

Другие определения избыточности

Мера избыточности между двумя случайными величинами — взаимная информация.

См. также

• Обнаружение и исправление ошибок
• Алгоритмическая теория информации
• Колмогоровская сложность