ロジスティック分布のモーメント母関数と期待値

統計

2022.01.07

はじめに

ロジスティック分布のモーメント母関数と期待値を計算したのでまとめます。

ロジスティック分布は以下の確率密度関数で表される分布です。

ロジスティック分布

$$\displaystyle f(x)=\frac{e^{-x}}{(1+e^{-x})^2}$$

機械学習等ではよく、ロジスティック分布の累積分布関数であるシグモイド関数が登場します。

シグモイド関数の方がシンプルで覚えやすいです。

シグモイド関数

$$\displaystyle F(x)=\frac{1}{1+e^{-x}}$$

モーメント母関数$M(t)$

$\displaystyle = \int^\infty_{-\infty} e^{tx}\frac{e^{-x}}{(1+e^{-x})^2}dx$

ここで機械学習であるあるの置換$\displaystyle \frac{1}{1+e^{-x}}=u$をすると、$x:-\infty \to \infty $の時、$u:0 \to 1$で、$\displaystyle e^x=\frac{u}{1-u}$となります。

また、$\displaystyle e^{-x}=\frac{1-u}{u}$なので、

$\displaystyle e^{-x}dx=\frac{1}{u^2}du$

以上より置換積分を行うと、

$\displaystyle \int^\infty_{-\infty} e^{tx}\frac{e^{-x}}{(1+e^{-x})^2}dx$

$\displaystyle = \int^1_0 \left(\frac{u}{1-u}\right)^tu^2\frac{1}{u^2}du$

$\displaystyle = \int^1_0 u^t(1-u)^{-t}du$

これは最近ベータ関数を勉強したばかりなのでベータ関数と見ることが出来ました。

$=B(1+t,1-t)$

公式$\Gamma(\alpha)\Gamma(\beta)=\Gamma(\alpha+\beta)B(\alpha,\beta)$を用いると

$\displaystyle =\frac{\Gamma(1+t)\Gamma(1-t)}{\Gamma(1+t+1-t)}$

$\displaystyle =\frac{\Gamma(1+t)\Gamma(1-t)}{\Gamma(2)}$

$\displaystyle =\frac{\Gamma(1+t)\Gamma(1-t)}{1!}$

$\displaystyle =\Gamma(1+t)\Gamma(1-t)$

ロジスティック分布のモーメント母関数を求めることが出来ました。

ロジスティック分布は$f(-x)=f(x)$が成り立つので偶関数なので期待値は$0$になることは分かりますが、せっかくなのでモーメント母関数を使って計算してみます。

$E[X]$

$\displaystyle =\left. \frac{d}{dt}M(t)\right|_{t=0}$

$\displaystyle =\left. \frac{d}{dt}(\Gamma(1+t)\Gamma(1-t)) \right| _{t=0} $

$\displaystyle = \left. \Gamma'(1+t)\Gamma(1-t) \right| _{t=0} $ $\displaystyle + \left. \Gamma(1+t)\Gamma'(1-t)\times(-1) \right| _{t=0} $

$=\Gamma'(1)\Gamma(1)- \Gamma'(1)\Gamma(1) $

$=0$

ロジスティック分布のモーメント母関数と期待値を計算することが出来ました。

分散もモーメント母関数から計算出来ますが、ディガンマ関数が登場するみたいで難しいため今回は省きました。