情報量・エントロピー・相互情報量・KLダイバージェンス

問題設定

$A=\{0,1\}$ を標本空間とする確率変数 $X, Y$ の同時確率 $P_{XY}(x, y)=P_{XY}(X=x,Y=y)$ を以下のように定義し、周辺確率 $P_X(x),P_Y(y)$ を求める。

周辺確率

$$\begin{aligned} P_X(x)&=\sum_{y\in A}P_{XY}(x, y)\\ P_Y(y)&=\sum_{x\in A}P_{XY}(x, y) \end{aligned}$$

$Y$ \ $X$	$0$	$1$	$P_Y$
$0$	$\frac{1}{8}$	$\frac{1}{4}$	$\frac{3}{8}$
$1$	$\frac{3}{8}$	$\frac{1}{4}$	$\frac{5}{8}$
$P_X$	$\frac{1}{2}$	$\frac{1}{2}$	$1$

情報量

情報量 $I_{XY}(x,y),I_X(x),I_Y(y)$ を求める。

情報量

$$\begin{aligned} I_{XY}(x,y)&=-\log_2 P_{XY}(x,y)\\ I_X(x)&=-\log_2 P_X(x)\\ I_Y(y)&=-\log_2 P_Y(y) \end{aligned}$$

$Y$ \ $X$	$0$	$1$	$I_Y$
$0$	$3$	$2$	$3-\log_2 3$
$1$	$3-\log_2 3$	$2$	$3-\log_2 5$
$I_X$	$1$	$1$	$0$

エントロピー

エントロピー $H_X(X),H_Y(Y)$ を求める。

エントロピー

$$\begin{aligned} H_X(X)&=E_X[I_X(X)]=\sum_{x\in A} P_X(x)I_X(x)=-\sum_{x\in A} P_X(x)\log_2 P_X(x)\\ H_Y(Y)&=E_Y[I_Y(Y)]=\sum_{y\in A} P_Y(y)I_Y(y)=-\sum_{y\in A} P_Y(y)\log_2 P_Y(y) \end{aligned}$$

定理: エントロピーの上界式

$$\begin{aligned} H_X(X)\leq \log_2 |A|\\ H_Y(Y)\leq \log_2 |A| \end{aligned}$$

$H_X(X)=\log_2 |A|$ となるのは $X$ が一様分布であるときである。

$$\begin{aligned} H_X(X)&=E_X[I_X(X)]=\frac{1}{2}\cdot1+\frac{1}{2}\cdot1=1\\ H_Y(Y)&=E_Y[I_Y(Y)]=\frac{3}{8}\cdot(3-\log_2 3)+\frac{5}{8}\cdot(3-\log_2 5)=3-\frac{3}{8}\log_2 3-\frac{5}{8}\log_2 5(=3-\frac{1}{8}\log_2 3^3\cdot5^5) \end{aligned}$$

条件付きエントロピー

条件付きエントロピー $H_{Y|X}(Y|X),H_{X|Y}(X|Y)$ を求める。

条件付きエントロピー

$$\begin{aligned} H_{Y|X}(Y|X)&=E_{XY}[I_{Y|X}(Y|X)]=\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)I_{Y|X}(Y|X)=-\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)\log_2 P_{Y|X}(Y|X)\\ H_{X|Y}(X|Y)&=E_{XY}[I_{X|Y}(X|Y)]=\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)I_{X|Y}(X|Y)=-\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)\log_2 P_{X|Y}(X|Y) \end{aligned}$$

定理: エントロピーと条件付きエントロピーの関係

$$\begin{aligned} H_{X|Y}(X|Y)\leq H_X(X) \end{aligned}$$

$H_{X|Y}(X|Y)=H_X(X)$ となるのは $X$ と $Y$ が独立なときである。

$$\begin{aligned} H_{Y|X}(Y|X)&=E_{XY}[I_{Y|X}(Y|X)]=\frac{1}{8}\cdot2+\frac{3}{8}\cdot(2-\log_2 3)+\frac{1}{4}\cdot1+\frac{1}{4}\cdot1=\frac{3}{2}-\frac{3}{8}\log_2 3\\ H_{X|Y}(X|Y)&=E_{XY}[I_{X|Y}(X|Y)]=\frac{1}{8}\cdot\log_2 3+\frac{3}{8}\cdot(\log_2 5-\log_2 3)+\frac{1}{4}\cdot(\log_2 3-1)+\frac{1}{4}\cdot(\log_2 5-1)=-\frac{1}{2}+\frac{5}{8}\log_2 5 \end{aligned}$$

同時エントロピー

同時エントロピー $H_{XY}(X,Y)$ を求める。

同時エントロピー

$$\begin{aligned} H_{XY}(X,Y)&=E_{XY}[I_{XY}(X,Y)]=\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)I_{XY}(x,y)=-\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)\log_2 P_{XY}(x,y) \end{aligned}$$

定理: エントロピーの加法性

$$\begin{aligned} H_{XY}(X,Y)&=H_X(X)+H_{Y|X}(Y|X)=H_Y(Y)+H_{X|Y}(X|Y) \end{aligned}$$

$$\begin{aligned} H_{XY}(X,Y)&=E_{XY}[I_{XY}(X,Y)]=\frac{1}{8}\cdot3+\frac{3}{8}\cdot(3-\log_2 3)+\frac{1}{4}\cdot2+\frac{1}{4}\cdot2=\frac{5}{2}-\frac{3}{8}\log_2 3 \end{aligned}$$

相互情報量

相互情報量 $I(X;Y)$ を求める。

相互情報量

$$\begin{aligned} I(X;Y)&=E_{XY}[I_X(X)+I_Y(Y)-I_{XY}(X,Y)]=\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)(I_X(x)+I_Y(y)-I_{XY}(x,y))=\sum_{x\in A}\sum_{y\in A} P_{XY}(x,y)\log_2 \frac{P_{XY}(x,y)}{P_X(x)P_Y(y)} \end{aligned}$$

定理

$$\begin{aligned} I(X;Y)&=D(P_{XY}||P_XP_Y) \end{aligned}$$

定理: 相互情報量とエントロピーの関係

$$\begin{aligned} I(X;Y)&=H(X)+H(Y)-H(X,Y)\\ I(X;Y)&=H(X)-H(X|Y)=H(Y)-H(Y|X)\\ I(X;Y)&=I(Y;X)\\ I(X;X)&=H_X(X) \end{aligned}$$

定理: 相互情報量の非負性

$$\begin{aligned} I(X;Y)\geq0 \end{aligned}$$

$I(X;Y)=0$ となるのは $X$ と $Y$ が独立なときである。

$$\begin{aligned} I(X;Y)&=\frac{1}{8}\cdot(1-\log_2 3)+\frac{3}{8}(1+\log_2 3-\log_2 5)+\frac{1}{4}(2-\log_2 3)+\frac{1}{4}(2-\log_2 5)=\frac{3}{2}-\frac{5}{8}\log_2 5 \end{aligned}$$

交差エントロピー

交差エントロピー $H(P_X,P_Y),H(P_Y,P_X)$ を求める。

交差エントロピー

$$\begin{aligned} H(P_X,P_Y)&=E_X[I_Y(X)]=\sum_{x\in A}P_X(x)I_Y(x)=-\sum_{x\in A}P_X(x)\log_2 P_Y(x)\\ H(P_Y,P_X)&=E_Y[I_X(Y)]=\sum_{y\in A}P_Y(y)I_X(y)=-\sum_{y\in A}P_Y(y)\log_2 P_X(y) \end{aligned}$$

$$\begin{aligned} H(P_X,P_Y)&=\frac{1}{2}\cdot(3-\log_2 3)+\frac{1}{2}\cdot(3-\log_2 5)=3-\frac{1}{2}\log_2 3-\frac{1}{2}\log_2 5(=3-\frac{1}{2}\log_2 3\cdot5)\\ H(P_Y,P_X)&=\frac{3}{8}\cdot1+\frac{5}{8}\cdot1=1 \end{aligned}$$

KL ダイバージェンス

KL ダイバージェンス $D(P_X||P_Y),D(P_Y||P_X)$ を求める。

KL ダイバージェンス

$$\begin{aligned} D(P_X||P_Y)&=E_X[I_Y(X)-I_X(X)]=\sum_{x\in A}P_X(x)(I_Y(x)-I_X(x))=\sum_{x\in A}P_X(x)\log_2 \frac{P_X(x)}{P_Y(x)}\\ D(P_Y||P_X)&=E_Y[I_X(Y)-I_Y(Y)]=\sum_{y\in A}P_Y(y)(I_X(y)-I_Y(y))=\sum_{y\in A}P_Y(y)\log_2 \frac{P_Y(y)}{P_X(y)} \end{aligned}$$

定理

$$\begin{aligned} D(P_X||P_Y)&=H(P_X,P_Y)-H_X(X)\\ D(P_Y||P_X)&=H(P_Y,P_X)-H_Y(Y) \end{aligned}$$

定理: ダイバージェンスの非負性

$$\begin{aligned} D(P_X||P_Y)\geq0\\ D(P_Y||P_X)\geq0 \end{aligned}$$

$D(P_X||P_Y)=D(P_Y||P_X)=0$ となるのは $\forall x\in A,P_X(x)=P_Y(x)$ のときである。

$$\begin{aligned} D(P_X||P_Y)&=\frac{1}{2}\cdot(2-log_2 3)+\frac{1}{2}(2-\log_2 5)=2-\frac{1}{2}\log_2 3-\frac{1}{2}\log_2 5(=2-\frac{1}{2}\log_2 3\cdot5)\\ D(P_Y||P_X)&=\frac{3}{8}\cdot(-2+\log_2 3)+\frac{5}{8}\cdot(-2+\log_2 5)=-2+\frac{3}{8}\log_2 3+\frac{5}{8}\log_2 5(=-2+\frac{1}{8}\log_2 3^3\cdot5^5) \end{aligned}$$