はじめに
参考書籍の第9章の3.4「線形制約」の式の導出をしました。
導出
モデル
$$Y=x\beta+\varepsilon$$
において、パラメータ\(\beta\)に\(r\)個の線形制約条件
$$L\beta = C$$
があるとき、\(\beta\)の最小二乗推定量\(\beta^*\)を導出する。
予測値\(\hat{Y}=x\beta\)と実測値\(Y\)の残差は
$$(Y-x\beta)^T(Y-x\beta)$$
であり、これを線形制約の下で最小化する\(\beta\)が最小二乗推定値である。
ラグランジュの未定乗数法により、
$$S=(Y-x\beta)^T(Y-x\beta)-\lambda(L\beta-C)$$
を最小化すればよい。
\(S\)を\(\beta\)で偏微分して、
$$\displaystyle \frac{\partial S}{\partial \beta}=-2x^TY+2x^Tx\beta -L^T\lambda^T$$
これを\(0\)と置き、
$$\hat{\beta}=(x^Tx)^{-1}x^T Y$$
を変形した
$$(x^Tx)\hat{\beta}=x^T Y$$
を用いると、
$$-2(x^Tx)\hat{\beta}+2x^Tx\beta -L^T\lambda^T=0$$
変形して、
$$\beta = \hat{\beta}+\displaystyle \frac{1}{2}(x^Tx)^{-1}L^T\lambda^T \cdots (*)$$
ここで線形制約条件
$$L\beta=C$$
により、
$$L\left(\hat{\beta}+\displaystyle \frac{1}{2}(x^Tx)^{-1}L^T\lambda^T\right)=C$$
これを\(\lambda^T\)について解くと、
$$\displaystyle \lambda^T = -2(L(x^Tx)^{-1}L^T)^{-1}(L\hat{\beta}-C)$$
式\((*)\)に代入することで、以下
\(\beta^{*} = \hat{\beta}-(x^Tx)^{-1}L^T\)\((L(x^Tx)^{-1}L^T)^{-1}\)\((L\hat{\beta}-C)\)
を得る。
コメント