尤度比検定について徹底解説

尤度比検定の定義と内容

尤度比検定は統計検定1級で頻出の仮説検定手法です.

尤度比統計量が従う確率分布や検定方法について一つずつ整理していきましょう.

尤度比統計量

観測 $x$, パラメータ空間 $\mathrm{\Theta }$

• 帰無仮説 $H_0:\theta \in {\mathrm{\Theta }}_0\subset \mathrm{\Theta }$
• 対立仮説 $H_1:\theta \in {\mathrm{\Theta }}_1={\mathrm{\Theta }}_0\mathrm{\setminus }\mathrm{\Theta }$

尤度関数 $L(\theta )=f(x\mid \theta )$ に対し，

$$\begin{array}{rl}\mathrm{\Lambda }& =\frac{\underset{\theta \in {\mathrm{\Theta }}_0}{sup}L(\theta )}{\underset{\theta \in \mathrm{\Theta }}{sup}L(\theta )}\\ D& \equiv -2\log \mathrm{\Lambda }\end{array}$$

Wilksの定理（漸近）より標本数が十分大きいとき

$$D\stackrel{d}{\to }{\chi }^2(n),n=\dim (\mathrm{\Theta })-\dim ({\mathrm{\Theta }}_0).$$

尤度比の分子と分母の意味

• 分子 $\underset{\theta \in {\mathrm{\Theta }}_0}{sup}L(\theta )$：制約下（$H_0$）での最大尤度
• 分母 $\underset{\theta \in \mathrm{\Theta }}{sup}L(\theta )$：制約なし（フルモデル）での最大尤度

制約なしの最大尤度に対して，制約下の最大尤度の相対的な大きさを測る のが尤度比.

尤度比の範囲

${\mathrm{\Theta }}_0\subset \mathrm{\Theta }$ のとき $\underset{\theta \in {\mathrm{\Theta }}_0}{sup}L(\theta )\le \underset{\theta \in \mathrm{\Theta }}{sup}L(\theta )$ なので

$$0<\mathrm{\Lambda }\le 1,D=-2\log \mathrm{\Lambda }\ge 0.$$

$\mathrm{\Lambda }$ が小さい $\Rightarrow$ $D$ が大きい $\Rightarrow$ 上側確率が小さくなる $\Rightarrow$ $H_0$を棄却しやすい

例題 過去問2013年統計数理[5]の類題

日本統計学会公式認定 統計検定 1級 公式問題集[2012〜2013年]

日本統計学会

過去問2012年・2013年

Amazonで見る

問題

離散型確率変数 $\{X_i{\}}_{i=1}^4$ は $\sum _{i=1}^4{X}_i=200$ であり，パラメータ $\mathit{\theta }=({\theta }_1,{\theta }_2,{\theta }_3,{\theta }_4)$ の多項分布に従うとする．
観測度数は $(x_1,x_2,x_3,x_4)=(52,41,63,44)$ とする．

帰無仮説と対立仮説を

$$\begin{array}{rl}{H}_0& :{\mathit{\theta }}_{\mathbf{0}}=({\theta }_{01},{\theta }_{02},{\theta }_{03},{\theta }_{04}){\theta }_{0i}=\frac{1}{4},\\ H_1& :\mathit{\theta }\ne {\mathit{\theta }}_{\mathbf{0}}\end{array}$$

とおく．有意水準 $5\mathrm{\%}$ での棄却可否を答えよ．

ヒント

尤度比検定の手順

1. 帰無仮説下の尤度を求める $L(\theta \mid H_0)$
2. 対立仮説下の最大尤度を求める（最尤推定量の尤度） $L(\hat{\theta }\mid H_1)$
3. 自由度を求める $n=\dim (\mathrm{\Theta })-\dim ({\mathrm{\Theta }}_0)$
4. 尤度比検定統計量 $D=-2\log \mathrm{\Lambda }=-2\log \left({\displaystyle \frac{L(\theta \mid H_0)}{L(\hat{\theta }\mid H_1)}}\right)$ を計算
5. 漸近分布を用いる: $D\stackrel{H_0}{\sim }{\chi }^2(n)$
6. 有意水準 $\alpha$ で判定: $D>{\chi }_{1-\alpha }^2(n)$ なら $H_0$ を棄却, それ以外は棄却しない

解答

手順にしたがって解説していきます.

1. 帰無仮説下の尤度

多項分布の確率質量関数は

$$\begin{array}{rl}f(\mathit{x}\mid \mathit{\theta })& =\frac{n!}{x_1!x_2!x_3!x_4!}{\theta }_1^{x_1}{\theta }_2^{x_2}{\theta }_3^{x_3}{\theta }_4^{x_4},\sum _{i=1}^4{\theta }_i=1\end{array}$$

帰無仮説下 (${\theta }_{0i}=1/4$) の尤度は

$$\begin{array}{r}L({\mathit{\theta }}_{\mathbf{0}})=f(\mathit{x}\mid {\mathit{\theta }}_{\mathbf{0}})=\frac{n!}{x_1!x_2!x_3!x_4!}\prod _{i=1}^4{\left(\frac{1}{4}\right)}^{x_i}.\end{array}$$

2. 対立仮説下の最大尤度

多項分布の最尤推定量は ${\hat{\theta }}_i=x_i/n$. よって

多項分布の最尤推定量

---

最尤推定量・オイラーラグランジュの未定乗数法

$$\begin{array}{r}L(\hat{\mathit{\theta }})=\frac{n!}{x_1!x_2!x_3!x_4!}\prod _{i=1}^4{\left(\frac{x_i}{n}\right)}^{x_i}.\end{array}$$

3. 自由度

制約なしの $\mathrm{\Theta }$ は次元 $3$（総和 $1$ の制約で $4-1$）. 帰無仮説下は点仮説で次元 $0$. よって

$$n=\dim (\mathrm{\Theta })-\dim ({\mathrm{\Theta }}_0)=3.$$

4. 尤度比と検定統計量

両者の比で多項係数が相殺される:

$$\begin{array}{rl}\mathrm{\Lambda }& =\frac{L({\mathit{\theta }}_{\mathbf{0}})}{L(\hat{\mathit{\theta }})}=\prod _{i=1}^4{\left(\frac{\frac{1}{4}}{x_i/n}\right)}^{x_i}=\prod _{i=1}^4{\left(\frac{n{\theta }_{0i}}{x_i}\right)}^{x_i}.\end{array}$$$$\begin{array}{rl}D& =-2\log \mathrm{\Lambda }=2\sum _{i=1}^4{x}_i\log \left(\frac{x_i}{n{\theta }_{0i}}\right).\end{array}$$

本データでは $n=200,\mathit{x}=(52,41,63,44),n{\theta }_{0i}=50$ より

$$\begin{array}{rl}D& =2[52\log \left(\frac{52}{50}\right)+41\log \left(\frac{41}{50}\right)+63\log \left(\frac{63}{50}\right)+44\log \left(\frac{44}{50}\right)]\\ & \approx 5.677.\end{array}$$

5. 漸近分布と $p$ 値

Wilks の定理より $D\stackrel{H_0}{\sim }{\chi }^2(3)$（大標本近似）

6. 判定（有意水準 $5\mathrm{\%}$）

臨界値は ${\chi }_{0.95}^2(3)=7.81$. $D=5.677<7.81$ より

結論: $H_0$ は棄却しない.

参考文献

増訂版 日本統計学会公式認定 統計検定１級対応 統計学

日本統計学会

統計検定1級公式教本 網羅的に記述してあるので辞書的に使うことをおすすめします

Amazonで見る 楽天で見る

新装改訂版　現代数理統計学

竹村 彰通

統計検定1級対策に定番の書籍 難易度は高めだが演習問題も豊富

Amazonで見る 楽天で見る