Entropia binarna

Entropia zmiennej losowej X przyjmującej wartość 0 lub 1.

Entropia binarna – w teorii informacji jest zdefiniowana jako entropia zmiennej losowej X, która przyjmuje tylko dwie wartości: 0 lub 1.

Jeśli $X=1$ zachodzi z prawdopodobieństwem $Pr(X=1)=p,$ a $X=0$ zachodzi z prawdopodobieństwem $Pr(X=0)=1-p,$ to entropia Shannona wynosi:

$H(X)=H_{b}(p)=p\log _{2}{p}+(1-p)\log _{2}(1-p),$

gdzie:

$0\log {0}$ jest przyjęte jako 0. Podstawą logarytmu zwykle jest 2. Zobacz logarytm binarny.

W przypadku kiedy $p={\tfrac {1}{2}},$ entropia binarna przyjmuje maksymalną wartość i wynosi 1 bit.

Funkcja entropii binarnej $H_{b}(p),$ w odróżnieniu od entropii Shannona $H(X),$ przyjmuje jako argument liczbę rzeczywistą $p$ zamiast rozkładu prawdopodobieństwa $X.$

Pochodna

Pochodna funkcji entropii binarnej może być zapisana za pomocą funkcji logitowej:

${\frac {d}{dp}}H_{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right).$

Zobacz też

• entropia (teoria informacji)

Linki zewnętrzne

• David J.C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1.