N_ha

チェビシェフの不等式と大数の法則の導出

数学

作成日 2025年3月13日木曜日

更新日 2025年3月14日金曜日

以下の3式を導出する。

チェビシェフの不等式

P(X≥c)≤E[X]c(X≥0,c>0)P(∣Y−E[Y]∣≥ϵ)≤V[Y]ϵ2P\left(X\geq c\right)\leq\frac{E\left[X\right]}{c}\quad\left(X\geq0,c>0\right)\\ P\left(\left|Y-E\left[Y\right]\right|\geq\epsilon\right)\leq\frac{V\left[Y\right]}{\epsilon^2}

大数の法則

P(∣1n∑i=1nZi−E[Z]∣≥ϵ)≤V[Z]nϵ2P\left(\left|\frac{1}{n}\sum_{i=1}^{n}Z_i-E\left[Z\right]\right|\geq\epsilon\right)\leq\frac{V\left[Z\right]}{n\epsilon^2}

チェビシェフの不等式

集合 A⊂{a∣a∈R,a≥0}A\sub\left\{a|a\in\R,a\geq0\right\} を標本空間とし、期待値が存在する確率変数 XX と定数 c(c∈A,c>0)c\quad\left(c\in A,c>0\right) について考える。 A′={a∣a∈A,a≥c}A'=\left\{a|a\in A,a\geq c\right\} とする。

E[X]=∑x∈AxP(X=x)≥∑x∈A′xP(X=x)(∵A′⊂A)≥∑x∈A′cP(X=x)(∵∀x∈A′,x≥c)=c∑x∈A′P(X=x)=cP(X≥c)∴P(X≥c)≤E[X]c\begin{aligned} E\left[X\right] &=\sum_{x\in A}xP\left(X=x\right)\\ &\geq\sum_{x\in A'}xP\left(X=x\right)\quad\left(\because A'\subset A\right)\\ &\geq\sum_{x\in A'}cP\left(X=x\right)\quad\left(\because \forall x\in A',x\geq c\right)\\ &=c\sum_{x\in A'}P\left(X=x\right)\\ &=cP\left(X\geq c\right)\\ \therefore P\left(X\geq c\right)&\leq\frac{E\left[X\right]}{c} \end{aligned}

期待値が存在する確率変数 YY について考える。 X=(Y−E[Y])2X=\left(Y-E\left[Y\right]\right)^2 と c=ϵ2(ϵ>0)c=\epsilon^2\quad\left(\epsilon>0\right) を上式に代入する。

P((Y−E[Y])2≥ϵ2)≤E[(Y−E[Y])2]ϵ2∴P(∣Y−E[Y]∣≥ϵ)≤V[Y]ϵ2\begin{aligned} P\left(\left(Y-E\left[Y\right]\right)^2\geq\epsilon^2\right)&\leq\frac{E\left[\left(Y-E\left[Y\right]\right)^2\right]}{\epsilon^2}\\ \therefore P\left(\left|Y-E\left[Y\right]\right|\geq\epsilon\right)&\leq\frac{V\left[Y\right]}{\epsilon^2} \end{aligned}

大数の法則

期待値が存在し、同じ確率分布に従う nn 個の確率変数 Zi(i=1,2,…,n)Z_i\quad\left(i=1,2,\dots,n\right) について考える。 Zi(i=1,2,…,n)Z_i\quad\left(i=1,2,\dots,n\right) は同じ確率分布に従うので、 E[Z]=E[Z1]=E[Z2]=⋯=E[Zn]E\left[Z\right]=E\left[Z_1\right]=E\left[Z_2\right]=\dots=E\left[Z_n\right] 、 V[Z]=V[Z1]=Z[Z2]=⋯=V[Zn]V\left[Z\right]=V\left[Z_1\right]=Z\left[Z_2\right]=\dots=V\left[Z_n\right] とする。 Y=1n∑i=1nZiY=\frac{1}{n}\sum_{i=1}^{n}Z_i を上式に代入する。

P(∣1n∑i=1nZi−E[1n∑i=1nZi]∣≥ϵ)≤V[1n∑i=1nZi]ϵ2∴P(∣1n∑i=1nZi−E[Z]∣≥ϵ)≤V[Z]nϵ2\begin{aligned} P\left(\left|\frac{1}{n}\sum_{i=1}^{n}Z_i-E\left[\frac{1}{n}\sum_{i=1}^{n}Z_i\right]\right|\geq\epsilon\right)&\leq\frac{V\left[\frac{1}{n}\sum_{i=1}^{n}Z_i\right]}{\epsilon^2}\\ \therefore P\left(\left|\frac{1}{n}\sum_{i=1}^{n}Z_i-E\left[Z\right]\right|\geq\epsilon\right)&\leq\frac{V\left[Z\right]}{n\epsilon^2} \end{aligned}