Информации теория

Информации теория - раздел прикладной математики и кибернетики, изучающий количество информации, неопределённость, формирование и передачу сообщений, свойства каналов связи и способы кодирования данных.

Что означает термин

Информации теория формализует сообщения и процессы их формирования, передачи и приёма. Количество информации связывают с уменьшением неопределённости относительно состояния источника. При таком измерении не учитываются смысл сообщения, его полезность и ценность для конкретного получателя.

Теория рассматривает как дискретные, так и непрерывные процессы передачи сообщений. Она опирается на теорию вероятностей, математическую статистику и алгебру.

Как устроено

Объектом анализа может быть источник сообщений, который случайно выбирает состояния из конечного множества и формирует последовательности символов. Для количественной оценки задают возможные состояния источника и их вероятности, после чего исследуют возникающую неопределённость и её изменение при получении сообщения.

К основным темам относятся энтропия, измерение количества информации и информационного потока, характеристики каналов связи, экономное кодирование, сжатие данных, а также коды обнаружения и исправления ошибок. Отдельно рассматривается передача сообщений по каналам с помехами.

Где применяется

Информации теория используется при оценке количества информации в сообщениях, расчёте пропускной способности линий связи, сжатии последовательностей данных и передаче сообщений по зашумлённым каналам. Методы кодирования позволяют обнаруживать и исправлять ошибки, возникающие при передаче.