はじめに
統計検定1級の勉強をしていて、チェビシェフの不等式、大数の弱法則、中心極限定理の証明が難しすぎたので、自分の記録用にまとめます。
チェビシェフの不等式
チェビシェフの不等式
\(\epsilon>0\)に対して
$$P(|Z-\mu|\geq \epsilon)\leq \displaystyle \frac{V[Z]}{\epsilon^2}$$
チェビシェフの不等式の証明
\(V[Z]=\displaystyle \int_{-\infty}^\infty(z-\mu)^2f_Z(z)dz\)
\(=\displaystyle \int_{|z-\mu|\geq\epsilon} (z-\mu)^2f_Z(z)dz\) \(+ \displaystyle \int_{|z-\mu|\leq\epsilon} (z-\mu)^2f_Z(z)dz \)
\(\geq \displaystyle \int_{|z-\mu|\geq\epsilon} (z-\mu)^2f_Z(z)dz \)
\(\geq \displaystyle \int_{|z-\mu|\geq\epsilon} \epsilon^2f_Z(z)dz \)
\(= \epsilon^2 \displaystyle \int_{|z-\mu|\geq\epsilon} f_Z(z)dz \)
\(=\epsilon^2 P(|Z-\mu|\geq \epsilon) \)
大数の弱法則
大数の弱法則
標本平均\(\bar{X}に対して、\)
$$\displaystyle \lim_{n \to \infty}P(|\bar{X}-\mu|\geq \epsilon)=0$$
書き換えると
$$ \displaystyle \lim_{n \to \infty} \bar{X}=\mu$$
大数の弱法則の証明
チェビシェフの不等式において、\(Z=\bar{X}\)とすると、
\(\sigma_z^2=\displaystyle \frac{\sigma_x^2}{n}\)なので、
\(P(|Z-\mu|\geq \epsilon)\leq \displaystyle \frac{\sigma_x^2}{n\epsilon^2} \)
中心極限定理
中心極限定理
$$\displaystyle \lim_{n \to \infty}P\left(\frac{\bar{X}-\mu} {\sigma/\sqrt{n} }\leq x \right )$$
$$\displaystyle =\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt$$
言葉で言うと、「どんな確率変数でも標本数が増えるとその平均の確率密度関数は正規分布に近づく」という意味になります。
中心極限定理の証明
目標は、平均\(\bar{X}\)を標準化した\(\displaystyle \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \)の確率密度関数または累積分布関数を求めることです。
つまり、モーメント母関数を求められれば、それに一致するモーメント母関数の確率密度関数が\(\displaystyle \frac{\bar{X}-\mu} {\sigma/\sqrt{n}} \)の確率密度関数だと分かります。
\(\displaystyle \frac{\bar{X}-\mu} {\sigma/\sqrt{n}} \)のモーメント母関数
\(\displaystyle M_{ \frac{\bar{X}-\mu} {\sigma/\sqrt{n}} }(t)\)
\(=\displaystyle E\left[e^{ \frac{\bar{X}-\mu} {\sigma/\sqrt{n}} t} \right]\)
\( =\displaystyle E\left[e^{ \left(\frac{X_1-\mu} {\sqrt{n}\sigma}+\cdots+ \frac{X_n-\mu} {\sqrt{n}\sigma} \right) t} \right] \)
\(= \displaystyle E\left[e^{ \frac{X_1-\mu} {\sqrt{n}\sigma} t} \right]\cdot \cdots \cdot E\left[e^{ \frac{X_n-\mu} {\sqrt{n}\sigma} t} \right] \)
\( = \displaystyle E\left[e^{ \frac{X-\mu} {\sqrt{n}\sigma} t} \right]^n \)
\( = \displaystyle E\left[e^{ \frac{X-\mu} {\sigma}\frac{ t}{\sqrt{n}}} \right]^n \)
ここで、\( \displaystyle E\left[e^{ \frac{X-\mu} {\sigma}\frac{ t}{\sqrt{n}}} \right] \)は\(t\)の関数(\(t/\sqrt{n}\)の関数と見れる)になっており、\(n\to\infty\)のとき \(t/\sqrt{n} \to 0\)なので、原点周りでマクローリン展開することが出来る。
\( \displaystyle E\left[e^{ \frac{X-\mu} {\sigma}\frac{ t}{\sqrt{n}}} \right] =M_{ \frac{X-\mu} {\sigma} }\left(\frac{t}{\sqrt{n}} \right)\)とすると、
\( \displaystyle E\left[e^{ \frac{X-\mu} {\sigma}\frac{ t}{\sqrt{n}}} \right] \)
\(=\displaystyle M_ { \frac{X-\mu} {\sigma} }(0)+\frac{ M_ { \frac{X-\mu} {\sigma} }^{(1)}(0) }{1!}\left(\frac{t}{\sqrt{n}}\right)\)\( \displaystyle + \frac{ M_ { \frac{X-\mu} {\sigma} }^{(2)}(0) }{2!}\left(\frac{t}{\sqrt{n}}\right)^2 \)\(+R(n)\)
\(R(n)\)は、\(\displaystyle n^{-\frac{3}{2}}\)次以下の部分を表します。
モーメント母関数の性質より、例えば確率変数\(X\)のモーメント母関数の0階微分、1階微分、2階微分に0を代入したものは、それぞれ\(E[1],E[X],E[X^2]\)を表すので、
\(=\displaystyle M_ { \frac{X-\mu} {\sigma} }(0)+\frac{ M_ { \frac{X-\mu} {\sigma} }^{(1)}(0) }{1!}\left(\frac{t}{\sqrt{n}}\right)\)\( \displaystyle + \frac{ M_ { \frac{X-\mu} {\sigma} }^{(2)}(0) }{2!}\left(\frac{t}{\sqrt{n}}\right)^2 \)\(+R(n)\)
\(=1+\displaystyle \frac{t^2}{2n}\)\(+R(n)\)
よって、
\( \displaystyle E\left[e^{ \frac{X-\mu} {\sigma}\frac{ t}{\sqrt{n}}} \right]^n \)
\(=\displaystyle \left( 1+ \frac{t^2}{2n}+R(n) \right)^n\)
\(=\displaystyle \left(1+\frac{t^2}{2n}\right)^n\)\(\displaystyle +\sum_{k=1}^{n}{}_nC_k \left(1+\frac{t^2}{2n}\right)^{n-k}R(n)^{k} \)
この式の2項目について考えていきます。
\(n\)の次数についてだけ考えていくと、
\( \displaystyle {}_nC_k \left(1+\frac{t^2}{2n}\right)^{n-k}R(n)^{k} \)
\(< \displaystyle \frac{n(n-1)\cdots(n-k+1)}{k!}\cdot 1^{n-k}\cdot\left(n^{-\frac{3}{2}}\right)^k\)
\(= \displaystyle \frac{n(n-1)\cdots(n-k+1)}{k!n^{\frac{3}{2}k}} \)
\(<\displaystyle \frac{(nのk次)}{k!\times(nの\frac{3}{2}次)}\)
\(\to 0 (n \to \infty)\)
数学的な厳密さに欠けますが、イメージは掴みやすいと思います。厳密な証明をしたい場合はランダウの記号\(\mathcal{O}\)を使う必要があるみたいです。
よって、\(n \to \infty\)の時、
\(\displaystyle M_{ \frac{\bar{X}-\mu} {\sigma/\sqrt{n}} }(t)\)
\(= \displaystyle E\left[e^{ \frac{X-\mu} {\sigma}\frac{ t}{\sqrt{n}}} \right]^n \)
\( \approx \displaystyle \left(1+\frac{t^2}{2n}\right)^n\)
\(\approx \displaystyle e^{\frac{t^2}{2}}\)
これは標準正規分布のモーメント母関数と一致しているので、\(\displaystyle \frac{\bar{X}-\mu} {\sigma/\sqrt{n}}\)は\(N(0,1)\)に従うことが分かりました。
参考サイト
コメント