スコア関数

スコア関数は対数尤度関数の微分で定義されます.

定義

確率変数 $X=(X_1,\dots ,X_n)$ の同時確率密度関数を $f(x|\theta )$ とする.
また $\theta$ は一次元のパラメータとします.

• 尤度関数を $L_n(\theta |x)=f(x|\theta )$
• 対数尤度関数 $l(\theta |x)=\log L_n(\theta |x)=\log f(x|\theta )$

スコア関数 $S(\theta ,x)$ は

$$\begin{array}{r}{S}_n(\theta ,x):=\frac{\partial }{\partial \theta }\log f(x|\theta )\end{array}$$

で定義される.

スコア関数は対数尤度関数の勾配(傾き) を表しています.
スコア関数は対数尤度の傾きを表すので、

• $S_n(\theta ,x)>0$ → $\theta$ を増加させれば対数尤度増加
• $S_n(\theta ,x)<0$ → $\theta$ を減少させれば対数尤度増加

スコア関数の期待値

解説

微分積分が交換可能（正則条件）のもとで

$$\begin{array}{r}\mathbb{E}[S_n(\theta ,x)]=0\end{array}$$

証明

$$\begin{array}{rl}\mathbb{E}[S_n(\theta ,x)]& =\mathbb{E}[\frac{\partial }{\partial \theta }\log f(x|\theta )]\\ & ={\int }_{x}f(x|\theta )\frac{\partial }{\partial \theta }\log f(x|\theta )dx\\ & ={\int }_{x}f(x|\theta )\frac{1}{f(x|\theta )}\frac{\partial }{\partial \theta }f(x|\theta )dx\\ & ={\int }_x\frac{\partial }{\partial \theta }f(x|\theta )dx\\ & =\frac{\partial }{\partial \theta }{\int }_{x}f(x|\theta )dx\\ & =\frac{\partial }{\partial \theta }\cdot 1\\ & =0\end{array}$$