今回は、ベイズファクターを使った相関の検定について理論を整理します。ベイズファクターとはなんぞや？という方はこちらを参照のこと。

参考文献はこちらです。

相関係数についておさらい

確率変数 $X$ 、 $Y$ はそれぞれ平均 $μ_{X}$ 、 $μ_{Y}$ 、標準偏差 $σ_{X}$ 、 $σ_{Y}$ をパラメータにもつ確率分布に従うとします。

このとき、確率変数 $X$ 、 $Y$ の相関係数 $ρ$ は下記のとおり定義されます。

$\begin{matrix} (1) & ρ = \frac{Cov (X Y)}{\sqrt{Var (X)} \sqrt{Var (Y)}} = \frac{E (X Y) - μ_{X} μ_{Y}}{σ_{X} σ_{Y}} \end{matrix}$

$(1)$ 式より、相関係数 $ρ$ は $X$ 、 $Y$ に対する線形変換の影響を受けないことが確認できます。

この性質により、平均値の差の検定や線形回帰のときとは異なり、モデル設計において $ρ$ を他の平均・分散・共分散等のパラメータから独立させるための再パラメータ化の必要が無いことが、今回のトピックのひとつの特徴です。

相関を考慮した2変量発生過程のモデル化

では、相関を考慮して2変数の発生過程をモデル化します。

◆相関を考慮した2変量発生過程モデル

確率変数 $X^{n} = (X_{1}, \dots, X_{n})$ 、 $Y^{n} = (Y_{1}, \dots, Y_{n})$ について、 $X_{i}$ 、 $Y_{i}$ $(i = 1, 2, \dots, n)$ の同時確率分布が独立同分布の2変量正規分布であると仮定する。

$\begin{matrix} (2) & p (X^{n}, Y^{n}) = \prod_{i = 1}^{n} Normal (X_{i}, Y_{i} | μ, Σ) \end{matrix}$

ここで、 $μ = {(μ_{X}, μ_{Y})}^{T}$ 、 $Σ = (\begin{array}{ccc} σ_{X}^{2} & ρ σ_{X} σ_{Y} \\ ρ σ_{X} σ_{Y} & σ_{Y}^{2} \end{array})$ である。

ここでは参考文献どおりに2変数の正規性を仮定したモデルのみを取り上げますが、ガンマ分布等他の分布でも同様に相関係数を組み込んだ2変量化で対応できそうですネ。誰かやってみてください。

事前分布

周辺尤度、ベイズファクターはモデルの事前分布の影響を強く受けるので、例によって理想的な性質をもつ事前分布の取り方を紹介します。

ここで紹介する事前分布は、Predictive matching（予測的整合性）、つまり、検定したいパラメータを計算することができないサンプルサイズのときに、ベイズファクターが1になること、及び、Information consistency（情報の一貫性）、つまり、検定したいパラメータが計算される最小サイズ $n_{m i n}$ 以上で極端な値が得られた状況で、ベイズファクターが0または $\infty$ のうち正しい値に振れること、これらを条件として設定されたものになります。

$κ$ のとりかたによっては、上記の理想的な性質をみたさなくなってしまいます。例えば、 $κ = 1$ の場合、 $n = 3$ で平面的に直線状に位置するデータが得られたときのベイズファクターは $2$ となり、２つめの条件であるInformation consistencyを満たさなくなってしまいます。

◆Jeffreysの理論に則った相関パラメータの事前分布

Jeffreysの理論に従い、相関パラメータ $ρ$ の事前分布 $π (ρ)$ を、伸長した対称ベータ分布(stretched symmetric beta function)とする。

$\begin{matrix} (3) & π (ρ | κ) = \frac{2^{\frac{κ - 2}{κ}}}{B (\frac{1}{κ}, \frac{1}{κ})} {(1 - ρ^{2})}^{\frac{1 - κ}{κ}} \end{matrix}$

ここで、 $κ$ が $2$ 以上の値をとるとき、理想的な性質をもつ事前分布となる。

伸長した対称ベータ分布の導出 （第1種）ベータ分布の確率密度は下記である。

f (x | α, β) = \frac{x^{α - 1} {(1 - x)}^{β - 1}}{B (α, β)}

ベータ分布に従う確率変数

X

について考える。

X

の

k

次の積率

μ_{X, k}^{^{'}}

は、

\begin{aligned} μ_{X, k}^{^{'}} & = E [X^{k}] \\ = \int_{0}^{1} \frac{x^{α - 1} {(1 - x)}^{β - 1}}{B (α, β)} x^{k} d x \\ = \int_{0}^{1} \frac{x^{α + k - 1} {(1 - x)}^{β - 1}}{B (α, β)} d x \\ = \int_{0}^{1} \frac{x^{α^{^{'}} - 1} {(1 - x)}^{β - 1}}{B (α^{^{'}} - k, β)} d x (α + k - 1 = α^{^{'}} - 1 と 置 換) \\ = \frac{\prod_{i = 1}^{k} (α^{^{'}} - i)}{\prod_{i = 1}^{k} (α^{^{'}} + β - i)} \int_{0}^{1} \frac{x^{α^{^{'}} - 1} {(1 - x)}^{β - 1}}{B (α^{^{'}}, β)} d x \\ = \frac{\prod_{i = 1}^{k} (α + k - i)}{\prod_{i = 1}^{k} (α + β + k - i)} (α^{^{'}} = α + k と 置 換 し な お す) \end{aligned}

memo

定理 $B (α + 1, β) = \frac{α}{α + β} B (α, β)$ より、 $B (α^{^{'}} - k, β) = \frac{\prod_{i = 1}^{k} (α^{^{'}} + β - i)}{\prod_{i = 1}^{k} (α^{^{'}} - i)} B (α^{^{'}}, β)$

よって、

X

の平均

μ_{X}

、分散

σ_{X}

はそれぞれ

μ_{X} = μ_{X, 1}^{^{'}} = E [X] = \frac{α}{α + β}

σ_{X} = μ_{X, 2} = E [{(X - μ_{X})}^{2}] = μ_{X, 2}^{^{'}} - μ_{X}^{2} = \frac{α β}{{(α + β)}^{2} (α + β + 1)}

だから、ベータ分布の歪度

γ_{X, 1}

は、

\begin{aligned} γ_{X, 1} & = α_{X, 3} = E [{(\frac{X - μ_{X}}{σ_{X}})}^{3}] \\ = \frac{μ_{X, 3}^{^{'}} - 3 μ_{X} μ_{X, 2}^{^{'}} + 2 μ_{X}^{3}}{σ_{X}^{3}} \\ = (略) \\ = \frac{2 (β - α) \sqrt{α + β + 1}}{(α + β + 2) \sqrt{α β}} \end{aligned}

よって、

α = β

のとき歪度0となるため、

X

の分布は左右対称（対称ベータ分布）となる。また

α = β = \frac{1}{κ}

の対称ベータ分布を台

[- 1, 1]

に変換しなおした拡張分布への変換には、下記定理を用いる。

確率変数の変換公式

確率密度 $f_{X}$ の確率変数 $X$ に一対一の写像 $ϕ$ で $X = ϕ (Y)$ と対応付けされる確率変数 $Y$ の確率密度 $g_{Y}$ は、

$g_{Y} (y) = f_{X} (ϕ (y)) | | J_{ϕ} | |$

ここで、 $| J_{ϕ} |$ はヤコビアンであり $| | J_{ϕ} | |$ はヤコビアンの絶対値である。

$| J_{ϕ} | = \frac{d x}{d y}$

いま、

α = β = \frac{1}{κ}

をパラメータにもつ対称ベータ分布に従う確率変数

X

について、

ϕ : X = \frac{Y + 1}{2}

とすると、

| J_{ϕ} | = \frac{d x}{d y} = \frac{1}{2}

だから、

\begin{aligned} g_{Y} (y) & = \frac{1}{2 B (\frac{1}{κ}, \frac{1}{κ})} {(\frac{y + 1}{2})}^{\frac{1}{κ} - 1} {(1 - \frac{y + 1}{2})}^{\frac{1}{κ} - 1} \\ = \frac{2^{\frac{κ - 2}{κ}}}{B (\frac{1}{κ}, \frac{1}{κ})} {(1 - y^{2})}^{\frac{1 - κ}{κ}} \end{aligned}

ここで、確率変数

Y

の定義域は

- 1 \leq y \leq 1

であり、相関係数の定義域と一致する。よって上式において

y

を

ρ

に置き換えてやれば

(3)

式となる。

その他のパラメータ $μ_{X}$ 、 $μ_{Y}$ 、 $σ_{X}$ 、 $σ_{Y}$ は比較するモデルに共通して存在するパラメータなので、それらの事前分布の設定が $ρ$ に対する周辺尤度の値にほとんど影響しませんが、平均値の差の検定のときと同様に、Jeffreysの事前分布を設定します。

◆平均パラメータ、分散パラメータの事前分布

平均パラメータ $μ_{X}$ 、 $μ_{Y}$ 、分散パラメータ $σ_{X}^{2}$ 、 $σ_{Y}^{2}$ の事前分布 $π (μ_{X})$ 、 $π (μ_{Y})$ 、 $π (σ_{X}^{2})$ 、 $π (σ_{Y}^{2})$ はJeffreysの事前分布を適用する。

$\begin{matrix} (4) & π (μ_{X}) \propto 1 \end{matrix}$

$\begin{matrix} (5) & π (μ_{Y}) \propto 1 \end{matrix}$

$\begin{matrix} (6) & π (σ_{X}^{2}) \propto \frac{1}{σ_{X}^{2}} \end{matrix}$

$\begin{matrix} (7) & π (σ_{Y}^{2}) \propto \frac{1}{σ_{Y}^{2}} \end{matrix}$

まとめ

本記事では以下の内容について整理しました。

相関係数のおさらいと性質の確認
相関係数を考慮した2変量のモデル化
相関パラメータの事前分布は拡張対称ベータ分布

実践編はこちらです。複数の方法を使ってベイズファクターを実際に計算してみたいと思います。

2021.12.19 00:00

ベイズファクターを用いた仮説検定～相関の検定～

相関係数についておさらい

相関を考慮した2変量発生過程のモデル化

事前分布

まとめ

2021.12.19 00:00

ベイズファクターを用いた仮説検定～相関の検定～

相関係数について おさらい

相関を考慮した2変量発生過程のモデル化

事前分布

まとめ

相関係数についておさらい