多変量正規分布のモーメント母関数を微分してみる

はじめに
モーメント母関数の微分

はじめに

$\boldsymbol{X}$が$p$次元確率変数、$\boldsymbol{\mu}$が$ \boldsymbol{X} $の平均ベクトル、$\boldsymbol{\Sigma}$が$ \boldsymbol{X} $の分散共分散行列で、$ \boldsymbol{X} \sim N( \boldsymbol{\mu}, \boldsymbol{\Sigma} )$と$ \boldsymbol{X} $が$p$変量正規分布に従うとき、モーメント母関数は以下のように表されます。

$$\displaystyle M(\boldsymbol{t})=\exp \left(\boldsymbol{\mu}^T \boldsymbol{t}+\frac{1}{2} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} \right)$$

このモーメント母関数を$\boldsymbol{t}$で1階微分してみようと思います。

(本当は2階微分までして、期待値と分散が出るか確認したかったですが諦めました。)

モーメント母関数の微分

$M( \boldsymbol{t} )$はスカラーで、これをベクトル$ \boldsymbol{t}=[t_1,\cdots,t_p]^T $で微分します。

$\displaystyle \frac{d M( \boldsymbol{t} )}{ d\boldsymbol{t} }$

$\displaystyle = \left[\frac{\partial M( \boldsymbol{t} )}{\partial t_1}, \cdots , \frac{\partial M( \boldsymbol{t} )}{\partial t_p} \right]^T$

ここで$n$番目について、

$\displaystyle \frac{\partial M( \boldsymbol{t} )}{\partial t_n} $

$\displaystyle = \frac{\partial}{\partial t_n} \exp \left(\boldsymbol{\mu}^T \boldsymbol{t}+\frac{1}{2} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} \right)$

$\displaystyle = \exp \left(\boldsymbol{\mu}^T \boldsymbol{t}+\frac{1}{2} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} \right)$$\displaystyle \frac{\partial}{\partial t_n} \left(\boldsymbol{\mu}^T \boldsymbol{t}+\frac{1}{2} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} \right) $

偏微分の部分のみを計算していくと、

$\displaystyle \frac{\partial}{\partial t_n} \left(\boldsymbol{\mu}^T \boldsymbol{t}+\frac{1}{2} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} \right) $

$\displaystyle = \frac{\partial}{\partial t_n} \boldsymbol{\mu}^T \boldsymbol{t} $ $\displaystyle + \frac{1}{2} \frac{\partial}{\partial t_n} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} $

第1項目について、

$ \displaystyle \frac{\partial}{\partial t_n} \boldsymbol{\mu}^T \boldsymbol{t} $

$ \displaystyle = \frac{\partial}{\partial t_n} (\mu_1t_1+\cdots+\mu_pt_p) $

$=\mu_n$

第2項目について、

$\displaystyle \frac{\partial}{\partial t_n} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} $

$\displaystyle = \frac{\partial}{\partial t_n} (t_1 \cdots t_p) \begin{pmatrix} \Sigma_{11} & \dots & \Sigma_{1p} \\ \vdots & \ddots & \vdots \\ \Sigma_{p1} & \dots & \Sigma_{pp} \end{pmatrix} \begin{pmatrix}t_1 \\ \vdots \\ t_p \end{pmatrix}$

$ \displaystyle = \frac{\partial}{\partial t_n} \left(\sum^p_{k=1} t_k\Sigma_{k1}\cdots \sum^p_{k=1} t_k\Sigma_{kp} \right) \begin{pmatrix}t_1 \\ \vdots \\ t_p \end{pmatrix} $

$ \displaystyle = \frac{\partial}{\partial t_n} \left( \sum^p_{k=1} t_k\Sigma_{k1}t_1+\cdots + \sum^p_{k=1} t_k\Sigma_{kp}t_p \right)$

$ \displaystyle = \frac{\partial}{\partial t_n} \sum^p_{l=1} \sum^p_{k=1} t_k\Sigma_{kl}t_l $

$\displaystyle =\sum^p_{i=1}\Sigma_{ni}t_i+\sum^p_{i=1}\Sigma_{in}t_i$

直前の計算は$k,l$を動かして$k,l$のどちらとも$n$でない場合を除いて計算しました。

ベクトルの公式を使うともっと楽に計算出来ると思います。

モーメント母関数の微分の計算に戻ります。

$ \displaystyle \frac{d M( \boldsymbol{t} )}{ d\boldsymbol{t} } $

$\displaystyle =\begin{pmatrix}\frac{\partial M(\boldsymbol{t})}{\partial t_1}\\ \vdots \\ \frac{\partial M(\boldsymbol{t})}{\partial t_p} \end{pmatrix}$

$ \displaystyle =\exp\left( \boldsymbol{\mu}^T \boldsymbol{t}+\frac{1}{2} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} \right)$$ \displaystyle \times \begin{pmatrix}\frac{\partial }{\partial t_1}\\ \vdots \\ \frac{\partial}{\partial t_p} \end{pmatrix}\left( \boldsymbol{\mu}^T \boldsymbol{t}+\frac{1}{2} \boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} \right) $

指数部分は$M(t)$と等しく、計算上邪魔なので

$\displaystyle \frac{1}{ M( \boldsymbol{t} ) } \frac{d M( \boldsymbol{t} )}{ d\boldsymbol{t} } $

$\displaystyle = \begin{pmatrix}\frac{\partial }{\partial t_1}\\ \vdots \\ \frac{\partial}{\partial t_p} \end{pmatrix} (\boldsymbol{\mu}^T\boldsymbol{t}) $$\displaystyle +\frac{1}{2} \begin{pmatrix}\frac{\partial }{\partial t_1}\\ \vdots \\ \frac{\partial}{\partial t_p} \end{pmatrix} (\boldsymbol{t}^T \boldsymbol{\Sigma} \boldsymbol{t} ) $

$\displaystyle = \begin{pmatrix}\mu_1 \\ \vdots \\ \mu_p \end{pmatrix}+ \frac{1}{2}\begin{pmatrix} \displaystyle \sum^p_{i=1}\Sigma_{1i}t_i+\sum^p_{i=1}\Sigma_{i1}t_i \\ \vdots \\ \displaystyle \sum^p_{i=1}\Sigma_{pi}t_i+\sum^p_{i=1}\Sigma_{ip}t_i \end{pmatrix}$

$\displaystyle = \boldsymbol{\mu}+\frac{1}{2}( \boldsymbol{\Sigma} + \boldsymbol{\Sigma} ^T)\boldsymbol{t}$

最後の式変形は、第二項を2つの行列に分けて、それぞれが$(p\times1)$行列であることを考えると、$(p\times p)$行列$\times (p \times 1)$行列の積に変形出来ると考えて変形出来ました。

また、分散共分散行列$\boldsymbol{\Sigma}$は対称行列で、$ \boldsymbol{\Sigma} = \boldsymbol{\Sigma} ^T$が成り立つので、

$\displaystyle \boldsymbol{\mu}+\frac{1}{2}( \boldsymbol{\Sigma} + \boldsymbol{\Sigma} ^T)\boldsymbol{t}$

$\displaystyle = \boldsymbol{\mu}+ \boldsymbol{\Sigma} \boldsymbol{t} $

以上より、モーメント母関数の1階微分が以下のように求められました。

$$ \displaystyle \frac{d M( \boldsymbol{t} )}{ d\boldsymbol{t} } = M(\boldsymbol{t})\left( \boldsymbol{\mu}+ \boldsymbol{\Sigma} \boldsymbol{t} \right) $$

この式で、$ \boldsymbol{t} = \boldsymbol{0} $とすると右辺は$\boldsymbol{\mu}$となり、1次元正規分布のモーメント母関数と同じような結果が得られます。

また、計算の途中で以下のようなベクトルの公式が分かりました。

$\displaystyle \frac{d}{d\boldsymbol{t}}\boldsymbol{\mu}^T\boldsymbol{t}=\boldsymbol{\mu}$
$\displaystyle \frac{d}{d\boldsymbol{t}}\boldsymbol{t}^T\boldsymbol{\Sigma}\boldsymbol{t}=(\boldsymbol{\Sigma}+\boldsymbol{\Sigma}^T)\boldsymbol{t}$