Formalnie dla dyskretnych zmiennych losowych
X
{\displaystyle X}
Y
{\displaystyle Y}
Y
{\displaystyle Y}
X
{\displaystyle X}
H
(
Y
|
X
)
=
∑
x
∈
X
p
(
x
)
H
(
Y
|
x
)
,
{\displaystyle H(Y|X)=\sum _{x\in X}p(x)H(Y|x),}
gdzie:
H
(
Y
|
x
)
=
∑
y
∈
Y
p
(
y
|
x
)
log
1
p
(
y
|
x
)
.
{\displaystyle H(Y|x)=\sum _{y\in Y}p(y|x)\log {\frac {1}{p(y|x)}}.}
A zatem:
H
(
Y
|
X
)
=
∑
x
∈
X
p
(
x
)
∑
y
∈
Y
p
(
y
|
x
)
log
1
p
(
y
|
x
)
.
{\displaystyle H(Y|X)=\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)\log {\frac {1}{p(y|x)}}.}
Wzór ten można zapisać również jako:
H
(
Y
|
X
)
=
−
∑
y
∈
Y
∑
x
∈
X
p
(
x
,
y
)
log
p
(
x
,
y
)
p
(
x
)
.
{\displaystyle H(Y|X)=-\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)}}.}
W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie :
H
(
Y
|
X
)
=
−
∫
Y
∫
X
p
(
x
,
y
)
log
p
(
x
,
y
)
p
(
x
)
d
x
d
y
,
{\displaystyle H(Y|X)=-\int \limits _{Y}\int \limits _{X}p(x,y)\log {\frac {p(x,y)}{p(x)}}\;dx\,dy,}
gdzie
p
(
x
,
y
)
{\displaystyle p(x,y)}
p
(
x
)
{\displaystyle p(x)}
X
.
{\displaystyle X.}
Alternatywnie tę samą definicję można zapisać jako
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
,
{\displaystyle H(Y|X)=H(X,Y)-H(X),}
gdzie
H
(
X
,
Y
)
{\displaystyle H(X,Y)}
entropię produktową
X
{\displaystyle X}
Y
,
{\displaystyle Y,}
H
(
X
)
{\displaystyle H(X)}
X
.
{\displaystyle X.}
Jeśli
X
{\displaystyle X}
Y
{\displaystyle Y}
X
{\displaystyle X}
Y
.
{\displaystyle Y.}
Y
:
{\displaystyle Y{:}}
H
(
Y
|
X
)
=
H
(
Y
)
.
{\displaystyle H(Y|X)=H(Y).}
Z drugiej strony, jeśli
Y
{\displaystyle Y}
X
,
{\displaystyle X,}
X
{\displaystyle X}
Y
.
{\displaystyle Y.}
H
(
Y
|
X
)
=
0.
{\displaystyle H(Y|X)=0.}
Dla dowolnych
X
{\displaystyle X}
Y
{\displaystyle Y}
[1]
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
{\displaystyle H(Y|X)=H(X,Y)-H(X)}
H
(
Y
|
X
)
⩽
H
(
Y
)
{\displaystyle H(Y|X)\leqslant H(Y)}
H
(
Y
|
X
)
=
H
(
X
|
Y
)
−
H
(
X
)
+
H
(
Y
)
{\displaystyle H(Y|X)=H(X|Y)-H(X)+H(Y)}
H
(
X
,
Y
)
=
H
(
X
|
Y
)
+
H
(
Y
|
X
)
+
I
(
X
;
Y
)
{\displaystyle H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)}
H
(
X
,
Y
)
=
H
(
X
)
+
H
(
Y
)
−
I
(
X
;
Y
)
{\displaystyle H(X,Y)=H(X)+H(Y)-I(X;Y)}
I
(
X
;
Y
)
⩽
H
(
X
)
{\displaystyle I(X;Y)\leqslant H(X)}
gdzie
I
(
X
;
Y
)
{\displaystyle I(X;Y)}
informacja wzajemna między
X
{\displaystyle X}
Y
.
{\displaystyle Y.}
X
{\displaystyle X}
Y
{\displaystyle Y}
zdarzeniami niezależnymi :
H
(
Y
|
X
)
=
H
(
Y
)
{\displaystyle H(Y|X)=H(Y)}
Pomimo iż wartość wyrażenia
H
(
Y
|
X
=
x
)
{\displaystyle H(Y|X=x)}
H
(
Y
)
,
{\displaystyle H(Y),}
H
(
Y
|
X
)
{\displaystyle H(Y|X)}
H
(
Y
)
.
{\displaystyle H(Y).}
H
(
Y
|
X
=
x
)
{\displaystyle H(Y|X=x)}
Y
{\displaystyle Y}
X
.
{\displaystyle X.}
