Расстояние Кульбака — Лейблера

Расстояние Кульбака — Лейблера

Расстояние Ку́льбака — Ле́йблера в теории информации — это мера того, насколько далеки друг от друга два вероятностных распределения.

Дискретные распределения

Пусть даны две дискретные случайные величины X,Y, принимающие значения в одном множестве $\mathcal{X} \subset \mathbb{R}$, и их распределения задаются функциями вероятности p и q соответственно. Тогда расстояние Кульбака — Лейблера D_KL задаётся формулой:

$D_{KL}(p, q) = \sum\limits_{x\in \mathcal{X}} p(x) \ln \frac{p(x)}{q(x)}.$

Непрерывные распределения

Пусть теперь даны две абсолютно непрерывные случайные величины X,Y, и их распределения задаются плотностями вероятности p и q соответственно. Тогда расстояние Кульбака — Лейблера D_KL задаётся формулой:

$D_{KL}(p, q) = \int\limits_{-\infty}^{\infty} p(x) \ln \frac{p(x)}{q(x)}\, dx.$

Свойства

• Расстояние Кульбака — Лейблера всегда неотрицательно, и равно нулю тогда и только тогда, когда X = Y почти наверное.

• Расстояние Кульбака — Лейблера, вообще говоря, не симметрично, то есть

$D_{KL}(p,q) \neq D_{KL}(q,p)$.

В частности, оно не является метрикой на пространстве распределений.