Entropia binarna
Entropia binarna – w teorii informacji jest zdefiniowana jako entropia zmiennej losowej X, która przyjmuje tylko dwie wartości: 0 lub 1.
![](http://upload.wikimedia.org/wikipedia/commons/thumb/2/22/Binary_entropy_plot.svg/200px-Binary_entropy_plot.svg.png)
Jeśli zachodzi z prawdopodobieństwem a zachodzi z prawdopodobieństwem to entropia Shannona wynosi:
gdzie:
- jest przyjęte jako 0. Podstawą logarytmu zwykle jest 2. Zobacz logarytm binarny.
W przypadku kiedy entropia binarna przyjmuje maksymalną wartość i wynosi 1 bit.
Funkcja entropii binarnej w odróżnieniu od entropii Shannona przyjmuje jako argument liczbę rzeczywistą zamiast rozkładu prawdopodobieństwa
Pochodna
edytujPochodna funkcji entropii binarnej może być zapisana za pomocą funkcji logitowej:
Zobacz też
edytujLinki zewnętrzne
edytuj- David J.C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1.