共分散の性質まとめ

共分散の定義

定義

確率変数 $X,Y$ に対して

$$\mathrm{Cov}[X,Y]=\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$$

公式として以下の形もよく利用されます.

$$\mathrm{Cov}[X,Y]=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$$

分散共分散行列の定義

定義

確率ベクトル $\mathbf{X}=(X_1,X_2,\dots ,X_p{)}^{\mathrm{\top }}$ の平均ベクトルを

$$\mu =\mathbb{E}[\mathbf{X}]=\left(\begin{array}{c}\mathbb{E}[X_1]\\ \mathbb{E}[X_2]\\ ⋮\\ \mathbb{E}[X_p]\end{array}\right)$$

とすると, 分散共分散行列は次で定義される.

$$\begin{array}{rl}\mathrm{\Sigma }& =\mathrm{Cov}[\mathbf{X}]\\ & =\mathbb{E}[(\mathbf{X}-\mu )(\mathbf{X}-\mu {)}^{\mathrm{\top }}]\\ & =\left(\begin{array}{cccc}\mathrm{V}[X_1]& \mathrm{Cov}[X_1,X_2]& \cdots & \mathrm{Cov}[X_1,X_p]\\ \mathrm{Cov}[X_2,X_1]& \mathrm{V}[X_2]& \cdots & \mathrm{Cov}[X_2,X_p]\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{Cov}[X_p,X_1]& \mathrm{Cov}[X_p,X_2]& \cdots & \mathrm{V}[X_p]\end{array}\right)\end{array}$$

共分散の基本性質

1. 対称性

$\mathrm{Cov}[X,Y]=\mathrm{Cov}[Y,X]$

2. 線形性

$\mathrm{Cov}[aX+b,Y]=a\mathrm{Cov}[X,Y]$

線形性を利用した重要な公式

この公式は統計検定では頻出です. 証明までできるようにしましょう.

• $\mathrm{Cov}[X+Y,Z]=\mathrm{Cov}[X,Z]+\mathrm{Cov}[Y,Z]$

• 特に $\mathrm{Cov}[X+Y,Y]=\mathrm{Cov}[X,Y]+\mathrm{Var}[Y]$

証明

証明

まず線形性を確認する.

$$\begin{array}{rl}\mathrm{Cov}[aX+b,Y]& =\mathbb{E}[(aX+b-\mathbb{E}[aX+b])(Y-\mathbb{E}[Y])]\\ & =\mathbb{E}[(aX+b-(a\mathbb{E}[X]+b))(Y-\mathbb{E}[Y])]\\ & =\mathbb{E}[a(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]\\ & =a\mathrm{Cov}[X,Y]\end{array}$$

したがって一次式の係数は外に出せる.

次に和に関する性質：

$$\begin{array}{rl}\mathrm{Cov}[X+Y,Z]& =\mathbb{E}[(X+Y-\mathbb{E}[X+Y])(Z-\mathbb{E}[Z])]\\ & =\mathbb{E}[(X-\mathbb{E}[X])(Z-\mathbb{E}[Z])]+\mathbb{E}[(Y-\mathbb{E}[Y])(Z-\mathbb{E}[Z])]\\ & =\mathrm{Cov}[X,Z]+\mathrm{Cov}[Y,Z]\end{array}$$

特に $Z=Y$ とすると

$$\mathrm{Cov}[X+Y,Y]=\mathrm{Cov}[X,Y]+\mathrm{V}[Y]$$

3. 独立性

$X,Y$ が独立なら $\mathrm{Cov}[X,Y]=0$

ただし逆は必ずしも成立しません.

正規分布の場合は独立性と無相関性は同値です.

証明

証明

公式より,

$$\mathrm{Cov}[X,Y]=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$$

$X,Y$ が独立のとき, $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$ より

$$\begin{array}{rl}\mathrm{Cov}[X,Y]& =\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]\\ & =\mathbb{E}[X]\mathbb{E}[Y]-\mathbb{E}[X]\mathbb{E}[Y]\\ & =0\end{array}$$

例題

• 例題1: 独立な確率変数
  $X,Y\sim U(0,1)$ 独立のとき、$\mathrm{Cov}[X,Y]$ を求めよ.

解答

解答

独立なら $\mathrm{Cov}[X,Y]=0$ が成り立つ.
実際に計算すると：

$$\begin{array}{rl}\mathrm{Cov}[X,Y]& =\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]\\ \mathbb{E}[X]& =\mathbb{E}[Y]=\frac{1}{2}\\ \mathbb{E}[XY]& =\left({\int }_0^{1}xdx\right)\left({\int }_0^{1}ydy\right)=\frac{1}{4}\\ \mathrm{Cov}[X,Y]& =\frac{1}{4}-\frac{1}{2}\cdot \frac{1}{2}=0\end{array}$$

---

• 例題2: 線形結合 (2013年統計数理問1 改)
  $X\sim U(0,1)$ とし、$Y=1-X$ のとき、$\mathrm{Cov}[X,Y]$ を求めよ.

解答

解答

$$\begin{array}{rl}\mathrm{Cov}[X,Y]& =\mathrm{Cov}[X,1-X]\\ & =\mathrm{Cov}[X,1]-\mathrm{Cov}[X,X]\\ & =0-\mathrm{V}[X]\\ & =-\frac{1}{12}\end{array}$$

---

• 例題3: 共分散行列
  $X,Y\sim U(0,1)$ 独立のとき、ベクトル $\mathbf{Z}=(X,Y{)}^{\mathrm{\top }}$ の共分散行列を求めよ.

解答

解答

$$\begin{array}{rl}\mathrm{\Sigma }& =\left(\begin{array}{cc}\mathrm{V}[X]& \mathrm{Cov}[X,Y]\\ \mathrm{Cov}[Y,X]& \mathrm{V}[Y]\end{array}\right)\\ & =\left(\begin{array}{cc}\frac{1}{12}& 0\\ 0& \frac{1}{12}\end{array}\right)\end{array}$$

参考文献

新装改訂版　現代数理統計学

竹村 彰通

統計検定1級対策に定番の書籍 難易度は高めだが演習問題も豊富

Amazonで見る 楽天で見る