スコア関数

Takeda Katsuji2025/12/03約1分

スコア関数は対数尤度関数の微分で定義されます.

定義

確率変数 $X = (X_{1}, \dots, X_{n})$ の同時確率密度関数を $f (x | θ)$ とする.
また $θ$ は一次元のパラメータとします.

スコア関数 $S (θ, x)$ は

\begin{array}{r} S_{n} (θ, x) := \frac{\partial}{\partial θ} \log f (x | θ) \end{array}

で定義される.

スコア関数は対数尤度関数の勾配(傾き) を表しています.
スコア関数は対数尤度の傾きを表すので、

スコア関数の期待値

解説

微分積分が交換可能（正則条件）のもとで

\begin{array}{r} E [S_{n} (θ, x)] = 0 \end{array}

証明

\begin{aligned} E [S_{n} (θ, x)] & = E [\frac{\partial}{\partial θ} \log f (x | θ)] \\ = \int_{x} f (x | θ) \frac{\partial}{\partial θ} \log f (x | θ) d x \\ = \int_{x} f (x | θ) \frac{1}{f (x | θ)} \frac{\partial}{\partial θ} f (x | θ) d x \\ = \int_{x} \frac{\partial}{\partial θ} f (x | θ) d x \\ = \frac{\partial}{\partial θ} \int_{x} f (x | θ) d x \\ = \frac{\partial}{\partial θ} \cdot 1 \\ = 0 \end{aligned}