データの関連について

データ $x=(x_1,x_2,\ldots,x_n)$ と $y=(y_1,y_2,\ldots,y_n)$ について, それぞれの平均を $\bar{x}$ と $\bar{y}$ とする。 次のベクトルを考える。 $\vec{x}=(x_1-\bar{x},\ldots,x_n-\bar{x})$, $\vec{y}=(y_1-\bar{y},\ldots,y_n-\bar{y})$

相関係数 $r$ は, 共分散を標準偏差の積で割ったものであるから, $$ \begin{aligned} &r \\ & \quad =\frac{\displaystyle \frac{1}{n}\vec{x}\cdot\vec{y}} {\displaystyle \left(\frac{1}{\sqrt{n}}|\vec{x}|\right) \left(\frac{1}{\sqrt{n}}|\vec{y}|\right)} \\ & \quad =\frac{\vec{x}\cdot\vec{y}}{|\vec{x}|\,|\vec{y}|} \end{aligned} $$ と表せる。

コーシー＝シュバルツの不等式より, $$ |\vec{x}\cdot\vec{y}| \le |\vec{x}|\,|\vec{y}| $$ が成り立つ。

上の不等式を $$ r =\frac{\vec{x}\cdot\vec{y}}{|\vec{x}|\,|\vec{y}|} $$ に適用すると, $$ |r| =\frac{|\vec{x}\cdot\vec{y}|}{|\vec{x}|\,|\vec{y}|} \le 1 $$ が得られる。

コーシー・シュバルツの不等式において等号が成り立つのは, $\vec{x},\vec{y}$ が一次従属のときである。 すなわち, ある実数 $a$ $(a \neq 0)$ が存在して $$ \vec{y} = a\vec{x} $$ と書ける場合である。

この式は, $1 \leq k \leq n$ の任意の自然数について, 　$$y_k - \bar{y} = a(x_k -\bar{x})$$ が成り立つことを意味する。すなわち, $$y_k = ax_k - a\bar{x} + \bar{y}$$ が成り立つ。 これは, ある実数 $a$ と $b$ を使って, データ $x,y$ の間に $$ y = ax + b \quad $$ が成り立つことに対応する。

ゆえに, 相関係数 $r$ は常に $-1 \le r \le 1$ を満たし, $|r|=1$ となるのは $y = ax + b$ が成り立つ場合に限られる。

$x, y$ の平均値を $\bar{x}, \bar{y}$ とする。変換後のデータの平均値は次のように表される。 $$ \bar{x'} = a\bar{x} + b, \quad \bar{y'} = c\bar{y} + d $$

各データの偏差を求めると, 定数項 $b, d$ が相殺される。 $$ \begin{aligned} x_k' - \bar{x'} &= (ax_k + b) - (a\bar{x} + b) = a(x_k - \bar{x}) \\[5pt] y_k' - \bar{y'} &= (cy_k + d) - (c\bar{y} + d) = c(y_k - \bar{y}) \end{aligned} $$

$s_{x'y'}$ の定義式に上の結果を代入し, $ac$ を共通因数として括りだす。 $$ \begin{aligned} s_{x'y'} &= \frac{(x_1'-\bar{x'})(y_1'-\bar{y'}) + \cdots + (x_n'-\bar{x'})(y_n'-\bar{y'})}{n} \\[10pt] &= \frac{a(x_1-\bar{x}) \cdot c(y_1-\bar{y}) + \cdots + a(x_n-\bar{x}) \cdot c(y_n-\bar{y})}{n} \\[10pt] &= \frac{ac \left\{ (x_1-\bar{x})(y_1-\bar{y}) + \cdots + (x_n-\bar{x})(y_n-\bar{y}) \right\}}{n} \\[10pt] \end{aligned} $$

右辺の和の形は元の共分散 $s_{xy}$ そのものであるから, 次が成り立つ。 $$ s_{x'y'} = acs_{xy} $$

変量 $x, y$ を $x' = ax+b, y' = cy+d$ と変換したときの相関係数 $r_{x'y'}$ を求める。 （ただし $a, c$ は $0$ でない定数とする）

標準偏差および共分散の変換規則より, 次の関係が成り立つ。 $$ \begin{cases} s_{x'} = |a|s_x \\ s_{y'} = |c|s_y \\ s_{x'y'} = acs_{xy} \end{cases} $$

相関係数の定義式 $r = \frac{s_{xy}}{s_x s_y}$ にこれらを代入すると： $$ \begin{aligned} r_{x'y'} &= \frac{s_{x'y'}}{s_{x'}s_{y'}} \\[10pt] &= \frac{acs_{xy}}{|a|s_x \cdot |c|s_y} \\[10pt] &= \frac{ac}{|a||c|} \cdot \frac{s_{xy}}{s_x s_y} \end{aligned} $$

$|a||c| = |ac|$ であるから, 変換後の相関係数は次のようになる。 $$ r_{x'y'} = \frac{ac}{|ac|} r_{xy} $$

ベクトル $\vec{x}$ と $\vec{y}$ について, 内積の定義より, $$ \cos\theta =\frac{\vec{x}\cdot\vec{y}}{|\vec{x}|\,|\vec{y}|} =\frac{\displaystyle \frac{1}{n}\vec{x}\cdot\vec{y}} {\displaystyle \left(\frac{1}{\sqrt{n}}|\vec{x}|\right) \left(\frac{1}{\sqrt{n}}|\vec{y}|\right)} $$ と変形できる。

この式の分子 $\frac{1}{n}\vec{x}\cdot\vec{y}$ は, $$ \frac{(x_1-\bar{x})(y_1-\bar{y})+\cdots+(x_n-\bar{x})(y_n-\bar{y})}{n} $$ であり, これはデータ $x$ と $y$ の共分散である。

また, 分母について, $$ \begin{aligned} \frac{1}{\sqrt{n}}|\vec{x}| &=\sqrt{\frac{(x_1-\bar{x})^2+\cdots+(x_n-\bar{x})^2}{n}}, \\ \frac{1}{\sqrt{n}}|\vec{y}| &=\sqrt{\frac{(y_1-\bar{y})^2+\cdots+(y_n-\bar{y})^2}{n}} \end{aligned} $$ であり, それぞれデータ $x$，$y$ の標準偏差である。

共分散をそれぞれの標準偏差で割ったものが相関係数であるから， $$ r =\frac{\text{共分散}}{\text{標準偏差} \times \text{標準偏差}} =\cos\theta $$ が成り立つ。

ゆえに, データ $x$ と $y$ について, $r =\cos \theta$ が成立する.