Informacja Fishera

Informacja Fishera – miara ilości informacji o jednym lub wielu nieznanych parametrach $\theta ,$ jaką niesie obserwowalna związana z nimi zmienna losowa $X$. Może być rozumiana jako średnia dokładność oszacowania, jaką daje obserwacja danych – tj. wartość oczekiwana brzegowej wiarygodności estymatora parametru $\theta$ względem obserwacji danych $X.$ W przypadku jednego parametru i zmiennej ciągłej, oraz przy założeniu określonego statystycznego modelu ich wzajemnej zależności $P(x;\theta )$ wyraża ją równanie:

${\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log P(X|\theta )\right)^{2}\right|\theta \right]=\int \left({\frac {\partial }{\partial \theta }}\log P(x|\theta )\right)^{2}P(x|\theta )\;\mathrm {d} x.$

Jest to więc druga pochodna, czyli pochodna gradientu funkcji prawdopodobieństwa, pozwalająca wyrazić szybkość jego zmian przy jej maksimum. Innymi słowy, informacja Fishera opisuje jak bardzo rozkład wiarygodności estymatora parametru względem obserwacji zmiennej losowej jest skupiony blisko maksimum, czyli jaką wariancją się cechuje.

Dla porównania, entropia Shannona wyraża globalny średni przyrost informacji, jaką daje obserwacja danych, w estymatorze histogramowym przyjmując postać:

$H(X)=-\int _{\mathbb {X} }f(x)\log f(x)\,dx.$

Ronald Fisher opisał informację Fishera także jako wewnętrzną dokładność krzywej błędu (intrinsic accuracy of an error curve). W przypadku wielu parametrów jej wynik ma postać macierzy Hessego. Ma postaci zarówno dla zmiennych ciągłych, jak i dyskretnych.

Miara ta występuje w wielu obszarach matematyki, statystyki i teorii informacji, w szczególności stanowi główną część nierówności Craméra-Rao. Zasada nieoznaczoności Heisenberga może być traktowana jako szczególny przypadek minimum Craméra-Rao, a oba wzory opierają się o nierówność Cauchy’ego-Schwarza. Entropię Shannona i informację Fishera, oraz inne miary informacji łączy tożsamość de Bruijna i dywergencja Kullbacka-Leiblera.

Obliczanie

Informacja Fishera dla głównych rozkładów prawdopodobieństwa może być wyprowadzona analitycznie. Inne przypadki można oszacowywać np. przy pomocy metod Monte Carlo.

Rozkład zero-jedynkowy

Dla rozkładu zero-jedynkowego (Bernoulliego) informacja Fishera to:

${\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.$

Rozkład normalny

Dla jednowymiarowego rozkładu normalnego (Gaussa) informacja Fishera wynosi:

${\mathcal {I}}(\theta )={\begin{bmatrix}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {1}{2\sigma ^{4}}}\end{bmatrix}}.$

Wielowymiarowy rozkład normalny

Dla wielowymiarowego rozkładu normalnego informacja Fishera to:

${\mathcal {I}}{(\theta )_{m,n}}={\frac {1}{2}}\operatorname {tr} \left({\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right).$

Wyprowadzenie

Równoważność dwóch form informacji Fishera dla jednego parametru i ciągłej zmiennej można wyprowadzić z użyciem reguły Leibniza (zakładając potrzebne warunki regularności), zaczynając od różniczkowania poniższej tożsamości po parametrze $\theta {:}$

$1=\int _{\mathbb {-\infty } }^{\infty }P(x|\theta )dx.$

Czego rezultatem jest:

$0={\frac {\partial }{\partial \theta }}1$

W następnych przekształceniach:

$0={\frac {\partial }{\partial \theta }}1={\frac {\partial }{\partial \theta }}\int P(x|\theta )dx=\int {\frac {\partial }{\partial \theta }}P(x|\theta )dx$

$\int {\frac {\partial }{\partial \theta }}P(x|\theta )dx=\int {\frac {{\frac {\partial }{\partial \theta }}P(x|\theta )}{P(x|\theta )}}P(x|\theta )dx=\int \left({\frac {\partial }{\partial \theta }}\log P(x|\theta )\right)P(x|\theta )dx$

$E\left[{\frac {\partial }{\partial \theta }}\log P(x|\theta )\right]=\int \left({\frac {\partial }{\partial \theta }}\log P(x|\theta )\right)P(x|\theta )dx=0.$

Pochodna ${\frac {\partial }{\partial \theta }}\log P(x|\theta )$ jest nazywana funkcją wynikową, a informacja Fishera jest zdefiniowana jako jej wariancja, czyli:

${\mathcal {I}}_{x}(\theta )=E\left[{\Bigl (}{\frac {\partial }{\partial \theta }}\log P(x|\theta ){\Bigr )}^{2}\right].$

Nierówność Craméra-Rao

Nierówność Craméra-Rao wyraża odwrotną zależność pomiędzy wariancją estymatora parametru $\theta$ a informacją Fishera estymatora, w przypadku skalarnym:

$\operatorname {Var} ({\hat {\theta }})\geqslant {\frac {1}{{\mathcal {I}}(\theta )}}.$