不偏共分散の導出

はじめに

不偏共分散の以下の式を導出したのでまとめます。

導出

まずは、\( \displaystyle \sum_{i=1}^n \displaystyle (x_i-\bar{x})(y_i-\bar{y})\)の期待値 \(E\left[ \displaystyle \sum_{i=1}^n \displaystyle (x_i-\bar{x})(y_i-\bar{ y}) \right]\) を計算します。

\( \displaystyle \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y}) \)
\(= \displaystyle \sum_{i=1}^n ((x_i-\mu_x)\)\(-(\bar{x}-\mu_x))( (y_i \)\( -\mu_y) \)\( -(\bar{y} \)\( -\mu_y) )\)
\(=\displaystyle \sum_{i=1}^n ( x_i-\mu_x )( y_i-\mu_y )\)\(-\displaystyle \sum_{i=1}^n (x_i-\mu_x)(\bar{y}-\mu_y)\)\(-\displaystyle \sum_{i=1}^n(\bar{x}-\mu_x)(y_i-\mu_y)\)\(+\displaystyle \sum_{i=1}^n(\bar{x}-\mu_x)(\bar{y}-\mu_y)\)
\(= \displaystyle \sum_{i=1}^n ( x_i-\mu_x )( y_i-\mu_y )\)\(-n (\bar{x}-\mu_x)(\bar{y}-\mu_y) \)

ここで、

\( \displaystyle \sum_{i=1}^n ( x_i-\mu_x )( y_i-\mu_y )=n\sigma_{xy}\)

\( (\bar{x}-\mu_x)(\bar{y}-\mu_y) \)
\(=\left(\displaystyle \frac{(x_1-\mu_x)+\cdots(x_n-\mu_x)}{n}\right)\)\(\times \left( \displaystyle \frac{(y_1-\mu_y)+\cdots(y_n-\mu_y)}{n} \right)\)
\(=\displaystyle \frac{1}{n^2}\sum_{i=1}^n (x_i-\mu_x)(y_i-\mu_y)\)\(+2\displaystyle \frac{1}{n^2}\sum_{i<j}^n(x_i-\mu_x)(y_j-\mu_y)\)
\(=\displaystyle \frac{1}{n}\sigma_{xy}\)\(+2\displaystyle \frac{1}{n^2}\sum_{i<j}^n(x_i-\mu_x)(y_j-\mu_y)\)

となるので、

\(\displaystyle \sum_{i=1}^n ( x_i-\mu_x )( y_i-\mu_y )\)\(-n (\bar{x}-\mu_x)(\bar{y}-\mu_y) \)
\(=(n-1)\sigma_{xy}\)\(-\displaystyle \frac{2}{n} \sum_{i<j}^n (x_i-\mu_x)(y_j-\mu_y) \)

\(i.j\)が異なるとき、それらは独立で、

\(E[ (x_i-\mu_x)(y_j-\mu_y) ]\)
\(E[ x_i-\mu_x ]E[ y_j-\mu_y ]\)
\(=0\)

が成り立つので、

\(E\left[ \displaystyle \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y}) \right]\)
\(=(n-1)\sigma_{xy}\)

となる。

\(\sigma_{xy}= E\left[ \displaystyle \sum_{i=1}^n \frac{(x_i-\bar{x})(y_i-\bar{y}) }{n-1} \right] \)

となり、下の式が導出された。