本記事では確率論の勉強ということで、期待値など確率変数の特徴を表す量について定義し、それらにまつわる便利なアイテム（関数）群を整理しようと思います。
本記事の内容をマスターすれば、確率分布の各特徴を表す量について明るくなったり、確率分布が関係する計算に少し強くなったりできます。

本記事の構成は以下の通りです。

期待値と積率

期待値

まず、確率変数$X$の期待値について定義します。以下、慣例に従い確率変数は大文字（例：$X$）、確率変数からの実現値は同じアルファベットの小文字（例：$x$）で、$A$という事象が起こる確率を$P(A)$で表します。

◆確率変数の期待値

離散型の確率変数$X$が確率質量関数$p_{X}(x_k)$$(k = 1,2,\ldots)$をもつとき、$X$の期待値は下記で定義される。

$$ \mathbb{E}[X] = \sum_{k=1}^{∞}x_kP(X = x_k) = \sum_{k=1}^{∞}x_k p_{X}(x_k) \tag{1} $$ 連続型の確率変数$X$が確率密度関数$f_{X}(x)$をもつとき、$X$の期待値は下記で定義される。

$$ \mathbb{E}[X] = \int_{-∞}^{∞} xf_{X}(x)dx \tag{2} $$

感覚的には$(1)$式$(2)$式ともに$X$がとりうる値についてその値をとる確率で重みづけしたものが期待値になります。通常の平均と同じ考えかたですね。

積率

積率（moment）は、期待値にまつわる重要な概念です。

◆積率 確率変数$X$及び自然数$k$について、 $X^k$の期待値 $$ \mu^{'}_{X,k} = \mathbb{E}[X^k] \tag{3} $$ を確率変数$X$の$k$次の積率（moment）という。特に$X$の1次の積率は平均($\mathbb{E}[X]$)である。

上の定義だけでは積率をわざわざ定義する意味が分からないと思いますが、のちのち紹介するように分散や歪度、尖度の計算に2次、3次、4次の積率が利用されます。

試しにガンマ分布の積率を導出し、ガンマ分布に従う確率変数の期待値を求めてみましょう。

memo

ガンマ分布の確率密度は下記式で与えられる。ここで、$x ∈ \mathbb{R}^+, \alpha∈ \mathbb{R}^+, \beta ∈ \mathbb{R}^+$である。 $$ \mathrm{Gamma}(x | \alpha, \beta) = \cfrac{\beta^{\alpha}}{\Gamma(\alpha)}x^{\alpha -1} e^{-\beta x} $$ $\Gamma(z)$はガンマ関数といい、下記で定義される。 $$ \Gamma (z)= \int_0^{\infty}t^{z-1}e^{-t}dt ~~~ (z > 0) $$

◆ガンマ分布の積率・期待値 ガンマ分布を確率密度にもつ確率変数$X$について、 $$ \begin{split} \mu^{'}_{X,k} &= \mathbb{E}[X^k] \\\\ &= \int _{0}^{∞}\cfrac{\beta^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x} x^k dx \\\\ &= \cfrac{\beta^{\alpha}}{\Gamma(\alpha)} \int _{0}^{∞}x^{\alpha+k-1}e^{-\beta x} dx \\\\ &= \cfrac{\beta^{\alpha}}{\Gamma(\alpha)} \int _{0}^{∞}\left(\cfrac{y}{\beta}\right)^{k + \alpha-1}e^{-y}\cfrac{1}{\beta} dy ~~~(y = \beta x とおいた置換積分) \\\\ &= \cfrac{\beta^{\alpha}}{\Gamma(\alpha)} \cfrac{1}{\beta^{k + \alpha}} \int_{0}^{∞} y^{k + \alpha - 1}e^{-y}dy \\\\ &= \cfrac{\beta^{\alpha}}{\Gamma(\alpha)} \cfrac{\Gamma(k + \alpha)}{\beta^{k + \alpha}} \\\\ &= \beta^{-k} \prod_{i=1}^{k-1}(\alpha + i - 1) ~~~ (\Gamma(s + 1) = s\Gamma(s)を利用) \end{split} $$ よって、 $$ \mu^{'}_{X,1} = \mathbb{E}(X) = \cfrac{\alpha}{\beta} $$

分散と中心積率

分散

次に確率変数の分散について定義します。

◆分散 確率変数$X$の分散は下記で定義される。ここで$X$の平均を$\mu_X$とする。 $$ \mathbb{V}[X] = \mathbb{E}[(X - \mu_X)^2] \tag{4} $$

確率変数の平均も分散も、通常のデータに対する平均と分散と同じ考え方で定義されています。

中心積率

積率に関連した概念として、中心積率について定義します。

◆中心積率 確率変数$X$とその平均$\mu_X$及び自然数$k$について、$(X-\mu_X)^k$の期待値を確率変数$X$の$k$次の中心積率（central moment）といい、$\mu_{X,k}$であらわす。特に2次の中心積率は分散である。 $$ \mu_{X,k} = \mathbb{E}[(X-\mu_X)^k] \tag{5} $$ $$ \mu_{X,2} = \mathbb{E}[(X-\mu_X)^2] = \mathbb{V}[X] \tag{6} $$

このように、確率変数の分散は中心積率を用いて計算することができます。

試しに、ガンマ分布の分散を求めてみましょう。

◆ガンマ分布の分散 $(5)$式を変形して、 $$ \begin{split} \mathbb{V}[X] &= \mathbb{E}[(X-\mu_X)^2]\\\\ &= \mathbb{E}[X^2] -2\mathbb{E}[X]\mu_X +\mu_X^2\\\\ &= \mu^{'} _{X,2} - \mu^{'2} _{X,1} \end{split} $$ よって、ガンマ分布を確率密度に持つ確率変数$X$の分散は、 $$ \begin{split} \mathbb{V}[X] &= \mu^{'} _{X,2} - \mu^{'2} _{X,1}\\\\ &= \beta^{-2}\alpha(\alpha+1) - (\beta^{-1}\alpha)^2\\\\ &= \cfrac{\alpha}{\beta^2} \end{split} $$

さらに、分散の非負平方根は標準偏差と呼びます。

◆標準偏差 標準偏差$\sigma_X$は下記式で定義される。 $$ \sigma_X = \sqrt{\mu_{X,2}} \tag{7} $$

標準化積率と歪度・尖度

標準化積率

平均$\mu_X$、標準偏差$\sigma_X$である確率変数$X$に対する標準化は

$$ Z = \cfrac{X - \mu_X}{\sigma_X} \tag{8} $$

となりますが、これに関連して標準化積率が定義されます。

◆標準化積率

平均$\mu_X$、標準偏差$\sigma_X$である確率変数$X$および自然数$k$に対して、$\left(\cfrac{X - \mu_X}{\sigma_X}\right)^k$の期待値を標準化積率と呼び、$\alpha_{X,k}$であらわす。

$$ \alpha_{X,k} = \mathbb{E} \left[ \left(\cfrac{X - \mu_X}{\sigma_X}\right)^k \right] \tag{9} $$

歪度と尖度

確率分布の形状を把握するための量に歪度と尖度があり、これらは上記の標準化積率を用いて定義されます。

◆歪度と尖度 3次の標準化積率を歪度とよび確率変数$X$の歪度を$\gamma_{X,1}$とあらわす。 $$ \gamma_{X,1} = \alpha_{X,3} = \mathbb{E} \left[ \left(\cfrac{X - \mu_X}{\sigma_X}\right)^3 \right] \tag{10} $$ 4次の標準化積率を歪度とよび確率変数$X$の尖度を$\gamma_{X,2}$とあらわす。 $$ \gamma_{X,2} = \alpha_{X,4} = \mathbb{E} \left[ \left(\cfrac{X - \mu_X}{\sigma_X}\right)^4 \right] \tag{11} $$

歪度は確率分布の対称性・非対称性の指標となります。
歪度が$\gamma_{X,1} = 0$となるとき、その確率変数の確率分布は左右対称であるといえます。
一方、歪度$\gamma_{X,1}> 0$となるとき、$X$は平均以上の値をとることが多いことから、分布の形状は平均より正の方向に長い右歪分布となります。
逆に歪度$\gamma_{X,1}< 0$のとき、分布の形状は平均より負の方向に長い左歪分布となります。

尖度は確率分布の密集度を示します。尖度が大きいと、$\sigma_X$が小さくなるため、分布は中心付近に密集するとともに、$X - \mu_X$が大きくなるため、分布の裾が重い分布となります。

例として、ガンマ分布の歪度と尖度を求めてみましょう。

◆ガンマ分布の歪度・尖度 ガンマ分布を確率密度にもつ確率変数$X$について、 $$ \begin{split} \gamma_{X,1} &= \alpha_{X,4} = \mathbb{E} \left[ \left(\cfrac{X - \mu_X}{\sigma_X}\right)^4 \right]\\\\ &= \cfrac{\mu^{'}_{X,3} - 3\mu^{'}_{X,2}\mu^{'}_{X,1} + 2\mu^{'3}_{X,1}}{\sigma_X^3}\\\\ &= \left( \cfrac{\alpha(\alpha+1)(\alpha+2)}{\beta^3} -3\cfrac{\alpha(\alpha+1)}{\beta^2}\cfrac{\alpha}{\beta} +2\cfrac{\alpha^3}{\beta^3} \right)\cfrac{\beta^3}{\alpha\sqrt{\alpha}}\\\\ &= \cfrac{2}{\sqrt{\alpha}} \end{split} $$ $$ \begin{split} \gamma_{X,2} &= \alpha_{X,4} = \mathbb{E} \left[ \left(\cfrac{X - \mu_X}{\sigma_X}\right)^4\right] \\\\ &= \cfrac{\mu^{'}_{X,4} - 4\mu^{'}_{X,3}\mu^{'}_{X,1} + 6\mu^{'}_{X,2}\mu^{'2}_{X,1} - 3\mu^{'4}_{X,1}}{\sigma_X^4} \\\\ &= \cfrac{3(\alpha + 2)}{\alpha} \end{split} $$

積率母関数

次に積率母関数を定義します。積率母関数は、積率を生成する関数であることからこのような名前がついています。

◆積率母関数

確率変数$X$及び実数$t$に対して、$e^{tX}$の期待値を積率母関数といい、$\mathrm{M}_{X}(t)$であらわす。

$$ \mathrm{M}_{X}(t) = \mathbb{E}\left[e^{tX}\right] \tag{12} $$

積率と積率母関数には以下の関係がある。

$$ \mu^{'}_ {X,k} = \mathrm{M}_{X}^{(k)}(0) = \left.\cfrac{d^k}{dt^k}\mathrm{M}_X(t)\right|_{t=0} \tag{13} $$

◆証明～積率と積率母関数の関係～ 確率変数$X$についての積率母関数$\mathrm{M}_{X}(t)$をマクローリン展開すると、 $$ \begin{split} \mathrm{M}_{X}(t) &= \mathbb{E}\left[1 + tX + \cfrac{t^2X^2}{2!} + \cdots + \cfrac{t^nX^n}{n!}\right]\\\\ &= 1 + t\mathbb{E}[X] + \cfrac{t^2}{2!}\mathbb{E}[X] + \cdots + \cfrac{t^n}{n!}\mathbb{E}[X^n] \end{split} $$ 上記結果から、$\mathrm{M}_{X}(t)$を$t$で微分し$t=0$とすると、 $$ \mathrm{M}^{'}_{X}(0) = \mathbb{E}[X] = \mu^{'}_{X,1} $$ $$ \mathrm{M}^{''}_{X}(0) = \mathbb{E}[X^2] = \mu^{'}_{X,2} $$ $$ \vdots $$ $$ \mathrm{M}^{(k)}_{X}(0) = \mathbb{E}[X^k] = \mu^{'}_{X,k} $$ よって、$(12)$式が成り立つ。

例として、積率母関数を使ってガンマ分布の平均と分散を求めてみましょう。

◆ガンマ分布の積率母関数と平均・分散 ガンマ分布を確率密度にもつ確率変数$X$に対して、積率母関数は、 $$ \begin{split} \mathrm{M}_{X}(t) &= \mathbb{E}[e^{tX}]\\\\ &= \int_{0}^{∞} e^{tx}\cfrac{\beta^{\alpha}x^{\alpha -1} e^{-\beta x}}{\Gamma(\alpha)} dx\\\\ &= \beta^{\alpha}(\beta - t)^{-\alpha}\int_{0}^{∞}\cfrac{(\beta - t)^{\alpha}x^{\alpha -1} e^{-(\beta-t) x}}{\Gamma(\alpha)} dx\\\\ &= \beta^{\alpha}(\beta - t)^{-\alpha}\int_{0}^{∞} f_{\Gamma(\alpha, \beta-t)}(x)dx~~(t<\beta)\\\\ &= \left(1 - \cfrac{t}{\beta}\right)^{-\alpha}~~(t<\beta) \end{split} $$ よって、 $$ \begin{split} \mathbb{E}[X] &= \mu^{'}_{X,1} = \left.\cfrac{d}{dt}\mathrm{M}_{X}(t)\right|_{t=0}\\\\ &= \left.-\alpha\left(1- \cfrac{t}{\beta}\right)^{-(\alpha+1)}-\cfrac{1}{\beta}\right|_{t=0}\\\\ &= \cfrac{\alpha}{\beta} \end{split} $$ $$ \begin{split} \mathbb{V}[X] &= \mu^{'} _{X,2} - \mu^{'2} _{X,1}\\\\ &=\left.\cfrac{d^2}{dt^2}\mathrm{M}_{X}(t)\right|_{t=0} - \left(\left.\cfrac{d}{dt}\mathrm{M}_{X}(t)\right|_{t=0}\right)^2\\\\ &= \left. \cfrac{\alpha}{\beta} (-(\alpha+1))\left(1-\cfrac{t}{\beta}\right)^{-(\alpha+2)} \left(-\cfrac{1}{\beta}\right) \right|_{t=0} -\cfrac{\alpha-2}{\beta^2}\\\\ &= \cfrac{\alpha(\alpha+1)}{\beta^2} - \cfrac{\alpha^2}{\beta^2}\\\\ &= \cfrac{\alpha}{\beta^2} \end{split} $$

積率が簡単に求められない場合でも、積率母関数を使えば比較的簡単に積率を求められることがあります。

キュミュラント母関数

キュミュラント母関数も、積率や平均・分散・歪度・尖度の計算に使える便利な関数なのですが、核となる部分の証明に手も足も出なかったので、ちゃんと理解出来たらupしたいと思います。

2021.01.31 00:00

積率と母関数