チェビシェフの不等式と大数の法則の導出

以下の3式を導出する。

チェビシェフの不等式

$$P\left(X\geq c\right)\leq\frac{E\left[X\right]}{c}\quad\left(X\geq0,c>0\right)\\ P\left(\left|Y-E\left[Y\right]\right|\geq\epsilon\right)\leq\frac{V\left[Y\right]}{\epsilon^2}$$

大数の法則

$$P\left(\left|\frac{1}{n}\sum_{i=1}^{n}Z_i-E\left[Z\right]\right|\geq\epsilon\right)\leq\frac{V\left[Z\right]}{n\epsilon^2}$$

チェビシェフの不等式

集合 $A\sub\left\{a|a\in\R,a\geq0\right\}$ を標本空間とし、期待値が存在する確率変数 $X$ と定数 $c\quad\left(c\in A,c>0\right)$ について考える。 $A'=\left\{a|a\in A,a\geq c\right\}$ とする。

$$\begin{aligned} E\left[X\right] &=\sum_{x\in A}xP\left(X=x\right)\\ &\geq\sum_{x\in A'}xP\left(X=x\right)\quad\left(\because A'\subset A\right)\\ &\geq\sum_{x\in A'}cP\left(X=x\right)\quad\left(\because \forall x\in A',x\geq c\right)\\ &=c\sum_{x\in A'}P\left(X=x\right)\\ &=cP\left(X\geq c\right)\\ \therefore P\left(X\geq c\right)&\leq\frac{E\left[X\right]}{c} \end{aligned}$$

期待値が存在する確率変数 $Y$ について考える。 $X=\left(Y-E\left[Y\right]\right)^2$ と $c=\epsilon^2\quad\left(\epsilon>0\right)$ を上式に代入する。

$$\begin{aligned} P\left(\left(Y-E\left[Y\right]\right)^2\geq\epsilon^2\right)&\leq\frac{E\left[\left(Y-E\left[Y\right]\right)^2\right]}{\epsilon^2}\\ \therefore P\left(\left|Y-E\left[Y\right]\right|\geq\epsilon\right)&\leq\frac{V\left[Y\right]}{\epsilon^2} \end{aligned}$$

大数の法則

期待値が存在し、同じ確率分布に従う $n$ 個の確率変数 $Z_i\quad\left(i=1,2,\dots,n\right)$ について考える。 $Z_i\quad\left(i=1,2,\dots,n\right)$ は同じ確率分布に従うので、 $E\left[Z\right]=E\left[Z_1\right]=E\left[Z_2\right]=\dots=E\left[Z_n\right]$ 、 $V\left[Z\right]=V\left[Z_1\right]=Z\left[Z_2\right]=\dots=V\left[Z_n\right]$ とする。 $Y=\frac{1}{n}\sum_{i=1}^{n}Z_i$ を上式に代入する。

$$\begin{aligned} P\left(\left|\frac{1}{n}\sum_{i=1}^{n}Z_i-E\left[\frac{1}{n}\sum_{i=1}^{n}Z_i\right]\right|\geq\epsilon\right)&\leq\frac{V\left[\frac{1}{n}\sum_{i=1}^{n}Z_i\right]}{\epsilon^2}\\ \therefore P\left(\left|\frac{1}{n}\sum_{i=1}^{n}Z_i-E\left[Z\right]\right|\geq\epsilon\right)&\leq\frac{V\left[Z\right]}{n\epsilon^2} \end{aligned}$$