多項分布の最尤推定量

Takeda Katsuji2025/10/20約1分

導出

定義

多項分布の確率質量関数

\begin{array}{r} f (x_{1}, \dots, x_{m}; n, θ) = \frac{n!}{x_{1}! \dots x_{m}!} \prod_{i = 1}^{m} θ_{i}^{x_{i}}, \sum_{i = 1}^{m} x_{i} = n, θ_{i} \geq 0, \sum_{i = 1}^{m} θ_{i} = 1. \end{array}

最尤推定量の求め方

多項分布の最尤推定量は少し特殊な求め方をします.
パラメータ $θ_{i}$ には制約があり $θ_{1} + \dots + θ_{m} = 1$ を満たします.
このように制約下での最大値は ラグランジュの未定乗数法 を使用します.

解答

多項分布の尤度関数 $L (θ_{1}, \dots, θ_{m})$ は

L (θ_{1}, \dots, θ_{m}) = \frac{n!}{x_{1}! x_{2}! \dots x_{n}!} θ_{1}^{x_{1}} θ_{2}^{x_{2}} \dots θ_{m}^{x_{n}}

対数尤度関数は

\begin{aligned} \log L (θ_{1}, \dots, θ_{m}) & = \log \frac{n!}{x_{1}! x_{2}! \dots x_{n}!} θ_{1}^{x_{1}} θ_{2}^{x_{2}} \dots θ_{m}^{x_{n}} \\ = \log \frac{n!}{x_{1}! x_{2}! \dots x_{n}!} + \sum_{i = 1}^{m} \log θ_{i}^{x_{i}} \\ = \log \frac{n!}{x_{1}! x_{2}! \dots x_{n}!} + \sum_{i = 1}^{m} x_{i} \log θ_{i} \end{aligned}

対数尤度関数からラグランジュの未定乗数法を用いて最尤推定量を求めます.

ラグランジュ関数は

H (θ_{1}, \dots, θ_{m}) = \log L (θ_{1}, \dots, θ_{m}) - λ \sum_{i = 1}^{m} θ_{i}

ここで $θ_{i} (i \in {1, \dots, m})$ で偏微分すると,

\begin{aligned} \frac{\partial}{\partial θ_{i}} H (θ_{1}, \dots, θ_{m}) \\ = \frac{\partial}{\partial θ_{i}} \log L (θ_{1}, \dots, θ_{m}) - λ \frac{\partial}{\partial θ_{i}} \sum_{i = 1}^{m} θ_{i} \\ = \frac{x_{i}}{θ_{i}} - λ \end{aligned}

したがって $\frac{\partial}{\partial θ_{i}} H (θ_{1}, \dots, θ_{m}) = 0$ を解くと,

\begin{array}{r} θ_{i} = \frac{x_{i}}{λ} \end{array}

また, $\sum_{i = 1}^{m} θ_{i} = 1$ より,

\begin{aligned} \sum_{i = 1}^{m} θ_{i} & = \sum_{i = 1}^{m} \frac{x_{i}}{λ} \\ 1 & = \frac{1}{λ} \sum_{i = 1}^{m} x_{i} \\ 1 & = \frac{n}{λ} \\ n & = λ \end{aligned}

したがって最尤推定量 ${\hat{θ}}_{i}$ は,

{\hat{θ}}_{i} = \frac{x_{i}}{n}