Entropia krzyżowa

Entropia krzyżowa – wartość używana w teorii informacji. Wykorzystywana do oceny nietrafności rozkładu względem drugiego rozkładu hipotetycznie prawdziwego.

Definicja

Wzór na entropię krzyżową dyskretnej zmiennej losowej $X$ o zbiorze wartości $\{x_{1},x_{2},...,x_{n}\}$ i zdefiniowanych na nich rozkładach prawdopodobieństw $p$ i $q$:

$H(p,q,X)=-\sum _{i=1}^{n}p(x_{i})\log {q(x_{i})}.$

Interpretując entropię krzyżową jako miarę nietrafności, za $p$ przyjmuje się rozkład traktowany jako prawdziwy, a za $q$ rozkład oceniany.

Własności

Ponieważ

$H(p,q)=-\sum _{i=1}^{n}p(x_{i})\log {q(x_{i})}=-\sum _{i=1}^{n}p(x_{i})\log {p(x_{i})}-\sum _{i=1}^{n}p(x_{i})\log {\frac {q(x_{i})}{p(x_{i})}},$

entropię krzyżową można interpretować jako sumę entropii dla rzeczywistego rozkładu prawdopodobieństa $p$ oraz miary dywergencji Kullbacka-Leiblera między $p$ i $q$:

$H(p,q)=H(p)+d_{KL}(p,q).$

Traktując entropię krzyżową jako nietrafność $q$ względem $p,$ można traktować ją jako sumę nietrafności związanej z niepewnością $H(p)$ i nietrafności związanej z błędem $q$ względem $p$.