【理解】多変数の確率分布の解説

2変数以上の確率分布について

同時確率分布（2変数の確率分布）

$P(X=x_i, Y=y_j) = p_{ij}$

定義（同時確率分布）

起こりうる事象が $\{ w_{11}, w_{12}, \cdots, w_{mn}\}$ とする. $1 \leqq i \leqq m$, $1 \leqq j \leqq n$ について, $w_{ij}$ の起こる確率が $p_{ij}$ として, $\displaystyle \sum_{i=1}^m \sum_{j=1}^n p_{ij} = 1$ を満たすとする.

$w_{ij}$ に対して, 2つの値 $x_i$ と $y_j$ を定める. このときの変数を $Z$ とする. 以上を, $P(Z=(x_i, y_j)) = p_{ij}$ と表す.

$Z$$y_1$$\cdots$$y_n$計
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
計$q_1$$\cdots$$q_n$$1$

このように定義される確率分布を同時確率分布という.

硬貨を2枚投げる同時確率分布は次の通り。

硬貨が表ならば $1$, 裏ならば $0$ とする。1枚目の結果を $X$, 2枚目の結果を $Y$ とする。

$(X,Y)$$0$$1$計
$0$$\frac{1}{4}$$\frac{1}{4}$$\frac{1}{2}$
$1$$\frac{1}{4}$$\frac{1}{4}$$\frac{1}{2}$
計$\frac{1}{2}$$\frac{1}{2}$$1$

$\displaystyle p_i = \sum_{j=1}^n p_{ij}$ とすると確率変数 $X$ は $P(X=x_i)=p_i$ を満たす確率分布に従う.

$\displaystyle q_j = \sum_{i=1}^m p_{ij}$ とすると確率変数 $Y$ は $P(Y=y_j)=q_j$ を満たす確率分布に従う.

したがって, $P(X=x_j, Y=y_j)=p_{ij}$ と表記できる.

確率変数の独立性

$p_{ij} = p_iq_j$

定義（確率変数の独立性）

離散的な確率変数 $X$ と $Y$ が独立であるとは, 任意の $i$ と $j$ について, $p_{ij} = p_i q_j$ が成り立つことを言う.

$(X,Y)$$y_1$$\cdots$$y_n$計
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
計$q_1$$\cdots$$q_n$$1$
同時確率分布

確率変数が独立であるとは, 2つの確率変数が互いに影響しあっていないことを言う.

$\frac{2}{36}$$\frac{2}{36}$$\frac{1}{36}$$\frac{1}{36}$
$\frac{4}{36}$$\frac{4}{36}$$\frac{2}{36}$$\frac{2}{36}$
$\frac{6}{36}$$\frac{6}{36}$$\frac{3}{36}$$\frac{3}{36}$
独立な確率分布の例
$\frac{3}{36}$$\frac{2}{36}$$\frac{1}{36}$
$\frac{2}{36}$$\frac{4}{36}$$\frac{6}{36}$
$\frac{9}{36}$$\frac{6}{36}$$\frac{3}{36}$
独立ではない確率分布

確率変数の和と積の期待値と分散について

確率変数 $X+Y$ や $XY$ などは、２次元の確率分布から、１つの実数値を返す関数と理解します。

$E[X+Y]=E[X]+E[Y]$

離散的な確率変数 $X$ と $Y$ の和の期待値 $E[X+Y]$ を計算する公式を証明してみよう。

公式

確率変数 $X$ と $Y$ について,

$E[X+Y]=E[X]+E[Y]$

が成り立つ.

$1 \leqq i \leqq m$, $1 \leqq j \leqq n$ について, $P((X,Y)=(x_i, y_j)) = p_{ij}$ とする.

($X$,$Y$)$y_1$$\cdots$$y_n$計
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
計$q_1$$\cdots$$q_n$$1$

同時確率分布では, $\displaystyle p_i = \sum_{j=1}^n p_{ij}$ とすると確率変数 $X$ は $P(X=x_i)=p_i$ を満たす確率分布に従い, $\displaystyle q_j = \sum_{i=1}^m p_{ij}$ とすると確率変数 $Y$ は $P(Y=y_j)=q_j$ を満たす確率分布に従う.

証明.

2変数の確率変数 $X+Y$ の期待値の定義から公式を導く.

$E[X+Y]$ $\displaystyle =\sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i + y_j)p_{ij}$

以下のように計算する.

$\begin{aligned}
&E[X+Y] \\
&= \displaystyle \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i + y_j)p_{ij} \\
&= \displaystyle \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i p_{ij} + y_j p_{ij}) \\
&= \displaystyle \sum_{i = 1}^{m} x_i \sum_{j = 1}^{n} p_{ij} + \sum_{j = 1}^{n} y_j \sum_{i = 1}^{m} p_{ij} \\
&= \displaystyle \sum_{i = 1}^{m} x_i p_i + \sum_{j = 1}^{n} y_j q_j \\
\end{aligned}$

この結果は $E[X]$ と $E[Y]$ の定義式の和を示している.

$E[X]$ $\displaystyle = \sum_{i = 1}^{m} x_i p_i$

$E[Y]$ $\displaystyle = \sum_{j = 1}^{n} y_j q_j$

ゆえに, $E[X+Y]=E[X] + E[Y]$ が成り立つ.

$2\times 2$ の同時確率分布で公式を計算してみよう。

$(X,Y)$$y_1$$y_2$計
$x_1$$p_{11}$$p_{12}$$p_1$
$x_2$$p_{21}$$p_{22}$$p_2$
計$q_1$$q_2$$1$

$E[X+Y]$

$= (x_1 + y_1)p_{11}$ $+ (x_1 + y_2)p_{12}$ $+ (x_2 + y_1)p_{21}$ $+ (x_2 + y_2)p_{22}$

$= x_1(p_{11} + p_{12})$ $+x_2(p_{21} + p_{22})$ $+y_1(p_{11} + p_{21})$ $+y_2(p_{12} + p_{22})$

$= x_1p_1$ $+x_2p_2$ $+y_1q_1$ $+y_2q_2$

$=E[X] + E[Y]$.

$E[XY]=E[X]E[Y]$（独立なとき）

独立である離散的な確率変数 $X$ と $Y$ の積の期待値 $E[XY]$ を計算する公式を証明してみよう。

公式

独立な確率変数 $X$ と $Y$ について,

$E[XY]=E[X] E[Y]$

が成り立つ.

$1 \leqq i \leqq m$, $1 \leqq j \leqq n$ について, $P((X,Y)=(x_i, y_j)) = p_{ij}$ とする.

($X$,$Y$)$y_1$$\cdots$$y_n$計
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
計$q_1$$\cdots$$q_n$$1$

同時確率分布では, $\displaystyle p_i = \sum_{j=1}^n p_{ij}$ とすると確率変数 $X$ は $P(X=x_i)=p_i$ を満たす確率分布に従い, $\displaystyle q_j = \sum_{i=1}^m p_{ij}$ とすると確率変数 $Y$ は $P(Y=y_j)=q_j$ を満たす確率分布に従う.

証明.

2変数の確率変数 $XY$ の期待値の定義から公式を導く.

$E[XY]$ $\displaystyle =\displaystyle \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i y_j)p_{ij} $

確率変数 $X$ と $Y$ の独立性の定義から $p_{ij}=p_iq_j$ が成り立つ.

以下のように計算する.

$\begin{aligned}
&E[XY] \\
& \displaystyle = \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i y_j)p_{ij} \\
& \displaystyle = \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i y_j) (p_{i} q_{j}) \\
& \displaystyle = \left( \sum_{i = 1}^{m} x_i p_i \right) \cdot \left( \sum_{j = 1}^{n} y_j q_j \right).
\end{aligned}$

この結果は $E[X]$ と $E[Y]$ の定義式の和を示している.

$E[X]$ $\displaystyle = \sum_{i = 1}^{m} x_i p_i$

$E[Y]$ $\displaystyle = \sum_{j = 1}^{n} y_j q_j$

ゆえに, $E[XY]=E[X] E[Y]$ が成り立つ.

$2\times 2$ の同時確率分布で公式を計算してみよう。

$(X,Y)$$y_1$$y_2$計
$x_1$$p_{11}$$p_{12}$$p_1$
$x_2$$p_{21}$$p_{22}$$p_2$
計$q_1$$q_2$$1$

$E[XY]$

$= (x_1 y_1)p_{11}$ $+ (x_1 y_2)p_{12}$ $+ (x_2 y_1)p_{21}$ $+ (x_2 y_2)p_{22}$

$= (x_1 y_1)(p_{1}q_1)$ $+ (x_1 y_2)(p_{1}q_2)$ $+ (x_2 y_1)(p_{2}q_1)$ $+ (x_2 y_2)(p_{2}q_2)$

$= (x_1p_1+x_2p_2)$ $(y_1q_1 + y_2q_2)$

$=E[X] E[Y]$.

$\Rightarrow$ $E[XY]^2=E[X]^2E[Y]^2$

$V[X+Y]=V[X]+V[Y]$（独立なとき）

独立である確率変数 $X$ と $Y$ の和の分散 $V[X+Y]$ を計算する公式を証明してみよう。

公式

独立な確率変数 $X$ と $Y$ について,

$V[X+Y]=V[X] + V[Y]$

が成り立つ.

証明.

分散を求める公式

$V[X+Y]$ $=E[(X+Y)^2] - E[X+Y]^2$

から出発して計算していく.

確率変数の和の期待値について

$A$ と $B$ を確率変数とすると,

$E[A+B]$ $=E[A] + E[B]$.

を利用して以下のように計算する.

$\begin{aligned}
& V[X + Y] \\
&= E[(X+Y)^2] - E[X+Y]^2 \\
&= E[X^2+2XY+Y^2] - (E[X]+E[Y])^2 \\
&= E[X^2]+2E[XY]+[Y^2] \\
& \phantom{aaa} -(E[X]^2+2E[X]E[Y]+E[Y]^2) \\
&= (E[X^2]-E[X]^2) + (E[Y^2]-E[Y]^2) \\
& \phantom{aaa}+ 2(E[XY] - E[X]E[Y]) \\
\end{aligned}$

ここで, 確率変数 $X$ と $Y$ が独立であることから確率変数の積の期待値の性質で $E[XY]=E[X]E[Y]$ が成り立つので, $2(E[XY] - E[X]E[Y])=0$ である.

分散の公式から

$E[X^2]-E[X]^2=V[X]$,

$E[Y^2]-E[Y]^2=V[Y]$.

ゆえに, 確率変数$X$ と$Y$ が独立であれば, $V[X+Y]=V[X] + E[Y]$ が成り立つ.

$V[X] = 2$ かつ $V[Y]=3$ であって, 確率変数 $X$ と $Y$ が独立であれば,

$V[X+Y]$ $=V[X]+V[Y]$ $=3+2$ $=5$

になる。

$V[XY]$ $=V[X]V[Y]$ $+V[X]E[Y]^2$ $+E[X]^2V[Y]$（独立なとき）

独立である確率変数 $X$ と $Y$ の積の分散 $V[XY]$ を計算する公式を証明してみよう。

公式

独立な確率変数 $X$ と $Y$ について,

$V[XY]$ $=(V[X]+E[X]^2)(V[Y]+E[Y]^2)$ $-(E[X] E[Y])^2$
$=V[X] V[Y]$ $+V[X] E[Y]^2$ $+E[X]^2 V[Y]$

が成り立つ.

証明.

分散を求める公式

$V[XY]$ $=E[(XY)^2] - E[XY]^2$

から出発して計算していく.

確率変数の積の期待値について

$A$ と $B$ を独立な確率変数とすると,

$E[AB]$ $=E[A] E[B]$.

であるから,

$\begin{aligned}
& E[(XY)^2] - E[XY]^2 \\
&= E[X^2Y^2] - (E[X]E[Y])^2 \\
&= E[X^2]E[Y^2] - E[X]^2E[Y]^2
\end{aligned}$

と計算することができる.（ $X$ と $Y$ が独立であれば, $X^2$ と $Y^2$ も独立である. ）

分散の公式から

$E[X^2]=V[X]+E[X]^2$,

$E[Y^2]=V[Y] +E[Y]^2$.

以上より,

$E[X^2]E[Y^2] - E[X]^2E[Y]^2$ $= (V[X]+E[X]^2) (V[Y] +E[Y]^2)$ $- E[X]^2E[Y]^2$

を得る. この式を展開すると,

$V[X]V[Y]$ $+V[X]E[Y]^2$ $+E[X]^2 V[Y]$ $+E[X]^2E[Y]^2$ $- E[X]^2E[Y]^2$

$=V[X]V[Y]$ $+V[X]E[Y]^2$ $+E[X]^2 V[Y]$.

ゆえに,

$V[XY]$ $=(V[X]+E[X]^2)(V[Y]+E[Y]^2)$ $-(E[X] E[Y])^2$
$=V[X] V[Y]$ $+V[X] E[Y]^2$ $+E[X]^2 V[Y]$

が成り立つ.

$E[X]=-2$ かつ $V[X] = 2$, $E[Y]=1$ かつ $V[Y]=3$ であって, 確率変数 $X$ と $Y$ が独立であれば,

$V[XY]$

$=2 \cdot 3$ $+2 \times 1^2$ $+(-2)^2 \times 3$

$=20$

になる。

※ $X$ と $X$ 同士は独立ではない。ゆえに, $E[X^2] = E[X]^2$ 等は成り立たない。

※ $X$ と $Y$ が独立であれば, $X^2$ と$Y^2$ も独立である。

まとめノート

「同時確率分布」とは

２つの変数によって確率が決定する確率分布のこと。

定義

確率変数 $(X, Y)$ で確率を定める.

$P((X,Y)=(x_i, y_j)) = p_{ij}$

と表記する.

$p_i = p_{i1} + \cdots + p_{im}$

,

$q_j = q_{1j} + \cdots + q_{nj}$

である.

($X$,$Y$)$y_1$$\cdots$$y_m$計
$x_1$$p_{11}$$\cdots$$p_{1m}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_n$$p_{n1}$$\cdots$$p_{nm}$$p_n$
計$q_1$$\cdots$$q_m$$1$

定義

すべての $i$ と $j$ で

$p_i q_j = p_{ij}$

のとき，$X$ と $Y$ は独立という.

A. 確率変数の和と積の期待値

  1. $E[X+Y] = E[X] + E[Y]$（いつでも成立）
  2. $E[XY] = E[X] E[Y]$（独立なとき成立）

B. 確率変数の和と積の分散（独立なとき）

  1. $V[X+Y] = V[X] + V[Y]$
  2. $V[XY]=V[X] V[Y] + E[X]^2 V[Y] + V[X] E[Y]^2$

ポイント解説

定義

$X$ と $Y$ は確率変数になる：

$X$$x_1$$\cdots$$x_n$計
$P(X)$$p_1$$\cdots$$p_n$$1$
$Y$$y_1$$\cdots$$y_m$計
$P(Y)$$q_1$$\cdots$$q_m$$1$

独立

確率分布に比例関係が観察できる.

独立である
独立ではない

※同じ確率変数 $X$ と $ X$ は独立でない.

A

次を計算することで導ける：

  1. $E[X+Y]=\sum_{i,j=1}^n (x_i+y_j)p_{ij}$
  2. $E[XY]=\sum_{i,j=1}^n (x_iy_j)p_{ij}$

B

次を計算することで導ける：

  1. $E[(X+Y)^2]-E[X+Y]^2$
  2. $E[(XY)^2]-E[XY]^2$

カテゴリー
絵馬
タグ

コメントを残す

前の記事
円錐曲線（2次曲線）について
2024-05-05
次の記事
二項分布について
2024-05-16