• 目次
  • 理解
  • まとめ

【理解】多変数の確率分布の解説

2変数以上の確率分布について

「同時確率分布」とは

2つの変数によって確率が決定する確率分布のこと。

$Z$$y_1$$\cdots$$y_n$
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
$q_1$$\cdots$$q_n$$1$

<定義>同時確率分布

$$P(X=x_i, Y=y_j) = p_{ij}$$

詳細はこちら
定義(同時確率分布)

起こりうる事象を $\{ w_{11}, w_{12}, \dots, w_{mn} \}$ とし, 各 $w_{ij}$ ($1 \leq i \leq m, 1 \leq j \leq n$) が起こる確率を $p_{ij}$ とする。これらは $\sum_{i=1}^m \sum_{j=1}^n p_{ij} = 1$ を満たすものとする。

各 $w_{ij}$ に対して2つの値 $x_i$ と $y_j$ を対応させ, 2次元の確率変数を $Z = (X, Y)$ とするとき, $P(X=x_i, Y=y_j) = p_{ij}$ と表し, これを同時確率分布と呼ぶ。


$Z$$y_1$$\cdots$$y_n$
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
$q_1$$\cdots$$q_n$$1$

$p_i = \sum_{j=1}^n p_{ij}$ とすると確率変数 $X$ は $P(X=x_i)=p_i$ を満たす確率分布に従う.

$q_j = \sum_{i=1}^m p_{ij}$ とすると確率変数 $Y$ は $P(Y=y_j)=q_j$ を満たす確率分布に従う.

硬貨を2枚投げる同時確率分布は次の通り。

$(X,Y)$$0$$1$
$0$$\frac{1}{4}$$\frac{1}{4}$$\frac{1}{2}$
$1$$\frac{1}{4}$$\frac{1}{4}$$\frac{1}{2}$
$\frac{1}{2}$$\frac{1}{2}$$1$

硬貨が表ならば $1$, 裏ならば $0$ として, 1枚目の結果を $X$, 2枚目の結果を $Y$ としている。

<定義>確率変数の独立性

$$p_{ij} = p_iq_j$$

詳細はこちら
定義(離散型確率変数の独立性)

2つの離散的な確率変数 $X$ と $Y$ が独立であるとは, 同時確率分布における任意の $i, j$ について, $$p_{ij} = p_i q_j$$ が成り立つことをいう。


$(X,Y)$$y_1$$\cdots$$y_n$
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
$q_1$$\cdots$$q_n$$1$
同時確率分布

確率変数が独立であるとは, 2つの確率変数が互いに影響しあっていないことを言う.

$\frac{2}{36}$$\frac{2}{36}$$\frac{1}{36}$$\frac{1}{36}$
$\frac{4}{36}$$\frac{4}{36}$$\frac{2}{36}$$\frac{2}{36}$
$\frac{6}{36}$$\frac{6}{36}$$\frac{3}{36}$$\frac{3}{36}$
$\frac{3}{36}$$\frac{2}{36}$$\frac{1}{36}$
$\frac{2}{36}$$\frac{4}{36}$$\frac{6}{36}$
$\frac{9}{36}$$\frac{6}{36}$$\frac{3}{36}$

確率変数の和と積の期待値と分散について

確率変数 $X+Y$ や $XY$ などは、2次元の確率分布から、1つの実数値を返す関数と理解します。

$X+Y$ の統計量

<公式> $X+Y$ の期待値

$$E[X+Y]=E[X]+E[Y]$$

証明はこちら
離散的な確率変数 $X$ と $Y$ の和の期待値 $E[X+Y]$ を計算する公式を証明してみよう。
公式(確率変数の和の期待値)

2つの確率変数 $X$ と $Y$ について, それらの和の期待値について $$E[X + Y] = E[X] + E[Y]$$ が成り立つ。

$1 \leq i \leq m, 1 \leq j \leq n$ について, $P(X=x_i, Y=y_j) = p_{ij}$ とする。同時確率分布において, $X$ の周辺確率を $p_i = \sum_{j=1}^n p_{ij}$ とし, $Y$ の周辺確率を $q_j = \sum_{i=1}^m p_{ij}$ とする。

($X$,$Y$)$y_1$$\cdots$$y_n$
$x_1$$p_{11}$$\cdots$$p_{1n}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_m$$p_{m1}$$\cdots$$p_{mn}$$p_m$
$q_1$$\cdots$$q_n$$1$
Step 1同時確率分布を用いた期待値の展開

2次元の確率変数 $(X, Y)$ の和 $X+Y$ の期待値の定義に基づき計算を行う。 $$ \begin{aligned} E[X+Y] &= \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i + y_j)p_{ij} \\ &= \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i p_{ij} + y_j p_{ij}) \\ &= \sum_{i = 1}^{m} \sum_{j = 1}^{n} x_i p_{ij} + \sum_{i = 1}^{m} \sum_{j = 1}^{n} y_j p_{ij} \end{aligned} $$

Step 2周辺確率への集約

和をとる計算順序を整理する。 $$ \begin{aligned} E[X+Y] &= \sum_{i = 1}^{m} x_i \left( \sum_{j = 1}^{n} p_{ij} \right) + \sum_{j = 1}^{n} y_j \left( \sum_{i = 1}^{m} p_{ij} \right) \\ &= \sum_{i = 1}^{m} x_i p_i + \sum_{j = 1}^{n} y_j q_j \end{aligned} $$ この結果は, $X$ の期待値 $E[X]$ と $Y$ の期待値 $E[Y]$ の定義式の和に一致する。

§結論

ゆえに, $E[X+Y] = E[X] + E[Y]$ が成り立つ。

$2\times 2$ の同時確率分布で公式を計算してみよう。

$(X,Y)$$y_1$$y_2$
$x_1$$p_{11}$$p_{12}$$p_1$
$x_2$$p_{21}$$p_{22}$$p_2$
$q_1$$q_2$$1$

$E[X+Y]$ $= (x_1 + y_1)p_{11}$ $+ (x_1 + y_2)p_{12}$ $+ (x_2 + y_1)p_{21}$ $+ (x_2 + y_2)p_{22}$ $= x_1(p_{11} + p_{12})$ $+x_2(p_{21} + p_{22})$ $+y_1(p_{11} + p_{21})$ $+y_2(p_{12} + p_{22})$ $= x_1p_1$ $+x_2p_2$ $+y_1q_1$ $+y_2q_2$ $=E[X] + E[Y]$.

<公式> $X+Y$ の分散

$$V[X+Y]=V[X]+V[Y]$$

※ $X$ と $Y$ が独立であるときのみ成立

証明はこちら
独立である確率変数 $X$ と $Y$ の和の分散 $V[X+Y]$ を計算する公式を証明してみよう。
公式(確率変数の和の分散)

2つの確率変数 $X$ と $Y$ が互いに独立であるとき, それらの和の分散について $$V[X + Y] = V[X] + V[Y]$$ が成り立つ。

分散の計算公式 $V[Z] = E[Z^2] - (E[Z])^2$ を用いて, 確率変数の和 $X+Y$ の分散を展開する。

Step 1期待値の性質の利用

期待値の性質 $E[A+B] = E[A] + E[B]$ を利用して, 式を整理する。 $$ \begin{aligned} V[X + Y] &= E[(X+Y)^2] - (E[X+Y])^2 \\ &= E[X^2 + 2XY + Y^2] - (E[X] + E[Y])^2 \\ &= \{ E[X^2] + 2E[XY] + E[Y^2] \} \\ & \phantom{aaaa} - \{ (E[X])^2 + 2E[X]E[Y] + (E[Y])^2 \} \\ &= \{ E[X^2] - (E[X])^2 \} + \{ E[Y^2] - (E[Y])^2 \} \\ & \phantom{aaaa} + 2\{ E[XY] - E[X]E[Y] \} \end{aligned} $$

Step 2独立性の適用

ここで, $X$ と $Y$ は独立であるから, 積の期待値の性質 $E[XY] = E[X]E[Y]$ が成り立つ。これにより, 第3項は次のように消去される。 $$\begin{aligned} &2\{ E[XY] - E[X]E[Y] \} \\ &= 2\{ E[X]E[Y] - E[X]E[Y] \}\\ & = 0 \end{aligned}$$ また, 分散の定義は $V[X] = E[X^2] - (E[X])^2$ および $V[Y] = E[Y^2] - (E[Y])^2$ であった。

§結論

ゆえに, 独立な確率変数 $X$ と $Y$ について, $V[X+Y] = V[X] + V[Y]$ が成り立つ。

$V[X] = 2$ かつ $V[Y]=3$ であって, 確率変数 $X$ と $Y$ が独立であれば, $V[X+Y]$ $=V[X]+V[Y]$ $=3+2$ $=5$ になる。

$XY$ の統計量

※ $X$ と $Y$ が独立であるときのみ成立する。

<公式> $XY$ の期待値

$$E[XY]=E[X]E[Y]$$

証明はこちら
独立である離散的な確率変数 $X$ と $Y$ の積の期待値 $E[XY]$ を計算する公式を証明してみよう。
公式(確率変数の積の期待値)

2つの確率変数 $X$ と $Y$ が互いに独立であるとき, それらの積の期待値について $$E[XY] = E[X] E[Y]$$ が成り立つ。

2次元の離散確率変数 $(X, Y)$ の積 $XY$ の期待値の定義に基づき, 公式を導出する。

Step 1独立性の定義の適用

確率変数 $X$ と $Y$ が独立であるとき, 同時確率 $p_{ij}$ は周辺確率の積 $p_i q_j$ に等しい。 $$ p_{ij} = p_i q_j $$ これを期待値の定義式に代入する。 $$ \begin{aligned} E[XY] &= \sum_{i = 1}^{m} \sum_{j = 1}^{n} (x_i y_j) p_{ij} \\ &= \sum_{i = 1}^{m} \sum_{j = 1}^{n} x_i y_j p_i q_j \end{aligned} $$

Step 2シグマの分離と計算

式を $i$ に関する項と $j$ に関する項に整理して分離する。 $$ \begin{aligned} E[XY] &= \sum_{i = 1}^{m} \left( x_i p_i \sum_{j = 1}^{n} y_j q_j \right) \\ &= \left( \sum_{i = 1}^{m} x_i p_i \right) \left( \sum_{j = 1}^{n} y_j q_j \right) \end{aligned} $$ ここで, 括弧内の各項はそれぞれ $E[X]$ および $E[Y]$ の定義式を示している。

§結論

ゆえに, $E[XY] = E[X] E[Y]$ が成り立つ。

$2\times 2$ の同時確率分布で公式を計算してみよう。

$(X,Y)$$y_1$$y_2$
$x_1$$p_{11}$$p_{12}$$p_1$
$x_2$$p_{21}$$p_{22}$$p_2$
$q_1$$q_2$$1$

$E[XY]$ $= (x_1 y_1)p_{11}$ $+ (x_1 y_2)p_{12}$ $+ (x_2 y_1)p_{21}$ $+ (x_2 y_2)p_{22}$ $= (x_1 y_1)(p_{1}q_1)$ $+ (x_1 y_2)(p_{1}q_2)$ $+ (x_2 y_1)(p_{2}q_1)$ $+ (x_2 y_2)(p_{2}q_2)$ $= (x_1p_1+x_2p_2)$ $(y_1q_1 + y_2q_2)$ $=E[X] E[Y]$.

これより, $$E[XY]^2=E[X]^2E[Y]^2$$ が成り立つ。ただし, $X$ と $X$ 同士は独立ではないから, $$E[X^2] = E[X]^2$$ は成り立たない。

<公式> $XY$ の分散

$V[XY]=V[X]V[Y]+V[X]E[Y]^2+E[X]^2V[Y]$

証明はこちら
独立である確率変数 $X$ と $Y$ の積の分散 $V[XY]$ を計算する公式を証明してみよう。
公式(確率変数の積の分散)

2つの確率変数 $X$ と $Y$ が互いに独立であるとき, それらの積の分散について

$V[XY] = V[X]V[Y]$ $+ V[X]E[Y]^2 + E[X]^2V[Y]$

が成り立つ。

分散の計算公式 $V[Z] = E[Z^2] - (E[Z])^2$ を確率変数 $XY$ に適用して導出を行う。

Step 1期待値の積への分解

$X$ と $Y$ が独立であるとき, $X^2$ と $Y^2$ もまた独立である。したがって, 積の期待値の性質 $E[AB] = E[A]E[B]$ より, 次のように変形できる。 $$ \begin{aligned} V[XY] &= E[(XY)^2] - (E[XY])^2 \\ &= E[X^2 Y^2] - (E[X]E[Y])^2 \\ &= E[X^2]E[Y^2] - (E[X]E[Y])^2 \end{aligned} $$

Step 2分散の定義による書き換えと展開

$E[X^2] = V[X] + (E[X])^2$ および $E[Y^2] = V[Y] + (E[Y])^2$ を代入すると, $$ \begin{aligned} V[XY] &= \{ V[X] + (E[X])^2 \} \{ V[Y] + (E[Y])^2 \} \\ & \phantom{aaaaa} - (E[X]E[Y])^2 \\ &= V[X]V[Y] + V[X](E[Y])^2 + (E[X])^2V[Y] \\ & \phantom{aaaaa} + (E[X])^2(E[Y])^2 - (E[X]E[Y])^2 \\ &= V[X]V[Y] + V[X](E[Y])^2 + (E[X])^2V[Y] \end{aligned} $$ となる。

§結論

ゆえに, $V[XY] = V[X]V[Y] + V[X]E[Y]^2 + E[X]^2V[Y]$ が成り立つ。

$E[X]=-2$ かつ $V[X] = 2$, $E[Y]=1$ かつ $V[Y]=3$ であって, 確率変数 $X$ と $Y$ が独立であれば, $V[XY]$ $=2 \cdot 3$ $+2 \times 1^2$ $+(-2)^2 \times 3$ $=20$ になる。

※ $X$ と $Y$ が独立であれば, $X^2$ と$Y^2$ も独立である。

まとめノート

「同時確率分布」とは

2つの変数によって確率が決定する確率分布のこと。

定義

確率変数 $(X, Y)$ で確率を定める.

$P((X,Y)=(x_i, y_j)) = p_{ij}$

と表記する.

$p_i = p_{i1} + \cdots + p_{im}$

,

$q_j = q_{1j} + \cdots + q_{nj}$

である.

($X$,$Y$)$y_1$$\cdots$$y_m$
$x_1$$p_{11}$$\cdots$$p_{1m}$$p_1$
$\vdots$$\vdots$$\ddots$$\vdots$$\vdots$
$x_n$$p_{n1}$$\cdots$$p_{nm}$$p_n$
$q_1$$\cdots$$q_m$$1$

定義

すべての $i$ と $j$ で

$p_i q_j = p_{ij}$

のとき,$X$ と $Y$ は独立という.

A. 確率変数の和と積の期待値

  1. $E[X+Y] = E[X] + E[Y]$(いつでも成立)
  2. $E[XY] = E[X] E[Y]$(独立なとき成立)

B. 確率変数の和と積の分散(独立なとき

  1. $V[X+Y] = V[X] + V[Y]$
  2. $V[XY]=V[X] V[Y] + E[X]^2 V[Y] + V[X] E[Y]^2$

ポイント解説

定義

$X$ と $Y$ は確率変数になる:

$X$$x_1$$\cdots$$x_n$
$P(X)$$p_1$$\cdots$$p_n$$1$
$Y$$y_1$$\cdots$$y_m$
$P(Y)$$q_1$$\cdots$$q_m$$1$

独立

確率分布に比例関係が観察できる.

独立である
独立ではない

※同じ確率変数 $X$ と $ X$ は独立でない.

A

次を計算することで導ける:

  1. $E[X+Y]=\sum_{i,j=1}^n (x_i+y_j)p_{ij}$
  2. $E[XY]=\sum_{i,j=1}^n (x_iy_j)p_{ij}$

B

次を計算することで導ける:

  1. $E[(X+Y)^2]-E[X+Y]^2$
  2. $E[(XY)^2]-E[XY]^2$

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です