問題(大問の前半)

出典はタクティクス数学(上)第3章 3-2「多次元正規分布」、参考類題 H29.2 です。目標解答時間25分の大問なので、この記事では前半の (1) を扱います。2次形式の分布と積率母関数を扱う後半 (2)(3) は別の記事(後編)にあります。

甲市在住の成人女性から1人を選び、身長を $X$ cm、体重を $Y$ kg とすると、$(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ となることが分かっている。同時確率密度関数は

$$f_{X,Y}(x,y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left\{-\frac{A(x,y)}{2}\right\}$$

$$A(x,y) = \frac{1}{1-\rho^2}\left\{\frac{(x-\mu_1)^2}{\sigma_1^2} - 2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu_2)^2}{\sigma_2^2}\right\}$$

このとき、$Y$ の周辺分布、条件 $Y = y$ のもとでの $X$ の分布、そして回帰関数 $E(X \mid Y = y)$ を求めよ。

原問(2017年度 問題2)は、身長・体重のような具体的な設定を付けない抽象的な $(X, Y)$ で、空欄を選択肢から選ぶマーク形式です。問いの構成と数式は同じです。

まず何に着目するか

2次元正規分布の問題は、見た目の仰々しさに反して、やることが1つしかありません。指数の中の2次式 $A(x,y)$ を、消したい変数について平方完成することです。

平方完成の目印は「$x$ を含む項をひとかたまりにする」こと。$\dfrac{x-\mu_1}{\sigma_1}$ をひとつの文字とみなして、

$$\frac{x-\mu_1}{\sigma_1} - \rho\cdot\frac{y-\mu_2}{\sigma_2}$$

の2乗を作りにいきます。平方完成が済んだら、積分は自分では計算しません。「正規分布の密度を全区間で積分すると1」という事実に押し付けます。この2つの型さえ守れば、25分の大問の前半は事務作業になります。

解法の筋道と計算

平方完成:$x$ の塊で2乗を作る

$A(x,y)$ を $\dfrac{x-\mu_1}{\sigma_1}$ について平方完成します。

$$A(x,y) = \frac{1}{1-\rho^2}\left\{\left(\frac{x-\mu_1}{\sigma_1} - \rho\cdot\frac{y-\mu_2}{\sigma_2}\right)^2 - \rho^2\frac{(y-\mu_2)^2}{\sigma_2^2} + \frac{(y-\mu_2)^2}{\sigma_2^2}\right\}$$

後ろの2項は $(1-\rho^2)\dfrac{(y-\mu_2)^2}{\sigma_2^2}$ とまとまり、$\dfrac{1}{1-\rho^2}$ と約分されて

$$A(x,y) = \frac{1}{1-\rho^2}\left(\frac{x-\mu_1}{\sigma_1} - \rho\cdot\frac{y-\mu_2}{\sigma_2}\right)^2 + \frac{(y-\mu_2)^2}{\sigma_2^2}$$

$x$ を含む項と含まない項に、完全に分離しました。ここが本問の峠です。

周辺分布:積分は「全確率1」に押し付ける

$f_Y(y) = \displaystyle\int_{-\infty}^{\infty} f_{X,Y}(x,y)\,dx$ に平方完成後の形を入れると、$x$ に依存しない因子が外に出て

$$f_Y(y) = \frac{1}{\sqrt{2\pi}\,\sigma_2}\exp\left\{-\frac{(y-\mu_2)^2}{2\sigma_2^2}\right\} \times \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}\,\sigma_1\sqrt{1-\rho^2}}\exp\left\{-\frac{1}{2(1-\rho^2)}\left(\frac{x-\mu_1}{\sigma_1} - \rho\cdot\frac{y-\mu_2}{\sigma_2}\right)^2\right\}dx$$

残った積分の中身は、平均 $\mu_1 + \rho\sigma_1\dfrac{y-\mu_2}{\sigma_2}$、分散 $\sigma_1^2(1-\rho^2)$ の正規分布の密度関数そのものです。したがって積分の値は1。計算せずに消えます。

$$f_Y(y) = \frac{1}{\sqrt{2\pi}\,\sigma_2}\exp\left\{-\frac{(y-\mu_2)^2}{2\sigma_2^2}\right\}, \qquad Y \sim N(\mu_2,\ \sigma_2^2)$$

2次元正規分布の周辺分布は、相関 $\rho$ に関係なく1次元の正規分布に戻ります。

条件付き分布と回帰関数:割り算するだけ

条件付き密度は定義どおり $f_{X\mid Y}(x \mid y) = \dfrac{f_{X,Y}(x,y)}{f_Y(y)}$。分子は平方完成済み、分母はいま求めた $f_Y$ なので、$y$ だけの因子がそっくり約分されて

$$f_{X\mid Y}(x \mid y) = \frac{1}{\sqrt{2\pi}\,\sigma_1\sqrt{1-\rho^2}}\exp\left[-\frac{1}{2\sigma_1^2(1-\rho^2)}\left\{x - \left(\mu_1 + \rho\cdot\frac{\sigma_1}{\sigma_2}(y-\mu_2)\right)\right\}^2\right]$$

これも密度の形から正規分布と読めます。

$$X \mid Y = y \ \sim\ N\left(\mu_1 + \rho\cdot\frac{\sigma_1}{\sigma_2}(y-\mu_2),\ \ \sigma_1^2(1-\rho^2)\right)$$

回帰関数は条件付き分布の平均なので、積分せずに答えが出ます。

$$E(X \mid Y = y) = \mu_1 + \rho\cdot\frac{\sigma_1}{\sigma_2}(y - \mu_2)$$

検算:端のケースで確かめる

$y = \mu_2$(平均体重の人)なら $E(X \mid Y=y) = \mu_1$、身長も平均。$\rho = 0$(無相関)なら $y$ によらず $\mu_1$ で、条件付き分散も $\sigma_1^2$ に戻ります。無相関の2次元正規分布では独立になる、という性質と整合します。どちらも一瞬で確かめられる検算です。

テクニック:回帰直線は「標準化した世界の傾き $\rho$」と覚える

答えの式は、標準化して読むと1行になります。

$$\frac{E(X \mid Y=y) - \mu_1}{\sigma_1} = \rho \cdot \frac{y - \mu_2}{\sigma_2}$$

「$Y$ が標準偏差の何倍ぶん平均から離れているか」に $\rho$ を掛けたものが、「$X$ の期待値が標準偏差の何倍ぶん離れるか」。傾き $\rho\sigma_1/\sigma_2$ を丸暗記するより、この標準化の形で持っておくと、$X$ と $Y$ のどちらを条件にする問題でも取り違えません($Y \mid X = x$ なら傾きは $\rho\sigma_2/\sigma_1$ に入れ替わります)。

$|\rho| < 1$ である限り $\rho$ 倍だけ「平均側に引き戻される」ことになります。親の身長が高くても子はそれほどには高くならない、という回帰(平均への回帰)の語源そのものが、この係数に入っています。

よくある誤答

条件付き分散を $\sigma_1^2$ のまま書いてしまうのが典型です。正しくは $\sigma_1^2(1-\rho^2)$。相関がある($\rho \ne 0$)限り、$Y$ を知った分だけ $X$ の不確かさは減って分散は縮みます(無相関なら情報がないので $\sigma_1^2$ のまま変わりません)。$\rho^2$ が決定係数と呼ばれるのは、この縮んだ割合が説明された分散の割合だからです。

傾きの取り違えも頻発します。$\rho\dfrac{\sigma_1}{\sigma_2}$ か $\rho\dfrac{\sigma_2}{\sigma_1}$ か迷ったら、上の標準化の形に戻って、条件にした側の標準偏差が分母に来ることを確認してください。

類題はどこにあるか

タクティクス第3章 3-2「多次元正規分布」には、本問のほかに H21.1(3)・H24.1(3)・2019.1(3)(3年度で同型・目標10分)と 2021.1(4) が収録されています。周辺・条件付き・回帰の3点セットは、この節の全問に共通する背骨です。

この大問の後半 (2)(3) は、指数の中の2次形式そのものを確率変数とみたときの分布(答えは指数分布になります)と、積率母関数から相関係数を確かめる計算です。平方完成の同じ技術が、積分変数の変換と組み合わさって再登場します。後編で扱います。

まとめ

  • 2次元正規分布の計算は、指数の中の2次式を「消したい変数の塊」で平方完成することに尽きる。
  • 積分は自分で計算せず、「正規密度の全確率は1」に押し付ける。周辺分布は $N(\mu_2, \sigma_2^2)$、条件付き分布は正規分布のまま。
  • 回帰関数は標準化の形 $\dfrac{E-\mu_1}{\sigma_1} = \rho\dfrac{y-\mu_2}{\sigma_2}$ で覚える。条件付き分散は $\sigma_1^2(1-\rho^2)$。$\rho \ne 0$ なら縮み、無相関なら変わらない。