無記憶性を持つ連続分布は指数分布しかない。その「しかない」を証明する

この付録が扱うこと

合格へのタクティクス 数学（上巻）には、無記憶性だけを扱った付録が置かれています。本編の問題を解くための公式集ではなく、なぜその分布に限られるのかを示す章です。

無記憶性の定義から始めます。確率変数 $X$ が、任意の $s, t \geq 0$ について

$$P(X > s + t \mid X > s) = P(X > t)$$

を満たすとき、その分布は無記憶性を持つといいます。記憶喪失性と呼ばれることもあります。

意味は言葉にできます。すでに $s$ だけ待ったという事実が、これから先の待ち時間の分布を変えない。過去を覚えていない、という言い方です。

この付録で示すことは2つです。連続分布で無記憶性を持つのは指数分布だけであること。正の整数値を取る離散分布で無記憶性を持つのは幾何分布だけであること。

指数分布が無記憶性を持つこと

やさしいほうの向きから確かめます。$X \sim \Gamma(1, \beta)$、つまり率 $\beta$ の指数分布なら、裾の確率は

$$P(X > s) = e^{-\beta s}$$

条件付き確率の定義に入れます。$s+t > s$ なので、$\{X > s+t\} \cap \{X > s\} = \{X > s+t\}$ です。

$$P(X > s+t \mid X > s) = \frac{P(X > s+t)}{P(X > s)} = \frac{e^{-\beta(s+t)}}{e^{-\beta s}} = e^{-\beta t} = P(X > t)$$

指数法則で $e^{-\beta s}$ が約分されて消えました。無記憶性の正体は、この約分です。

「指数分布しかない」ことの証明

逆向きを示します。連続分布が無記憶性を持つなら指数分布である、という主張です。以下では $X$ は非負で、どの $t \geq 0$ でも $S(t) = P(X > t) > 0$ とし、裾の確率 $S$ が微分可能であることも仮定して、微分方程式に持ち込む筋で示します（微分可能性を仮定しない証明もありますが、試験対策としてはこの筋で十分です）。

裾の確率を $S(t) = P(X > t)$ と置きます。非負なので $S(0) = 1$（無記憶性の式に $s = 0$ を入れても $S(0) = 1$ が出ます）、$t \to \infty$ で $S(t) \to 0$、そして $S$ は単調非増加です。

無記憶性の条件を書き直します。

$$\frac{S(s+t)}{S(s)} = S(t) \quad \Longleftrightarrow \quad S(s+t) = S(s)S(t)$$

足し算を掛け算に変える関数を探すことになりました。指数関数がそうだと知っていますが、それ以外にないことを示す必要があります。

両辺から $S(s)$ を引きます。$S(0) = 1$ を使って書き換えると

$$S(s+t) - S(s) = S(s)S(t) - S(s) = S(s)\left\{S(t) - S(0)\right\}$$

$t > 0$ で両辺を割ります。

$$\frac{S(s+t) - S(s)}{t} = S(s)\cdot\frac{S(t) - S(0)}{t}$$

左辺は $s$ における微分の商、右辺の分数は0における微分の商です。$t \to 0$ の極限を取ると

$$S'(s) = S(s)\,S'(0)$$

微分方程式が出ました。関数方程式を微分方程式に翻訳したことになります。

$S'(0) = 0$ の場合は $S'(s) = 0$ となり、$S(0)=1$ と合わせてすべての $s$ で $S(s) = 1$。これは $X$ が確率1で無限大になる状況で、確率分布としては意味を持ちません。除きます。

$S$ は単調非増加なので $S'(0) \leq 0$、そして直前で $S'(0) = 0$ の場合を除いたので $S'(0) < 0$ です。この値を $-\beta$（$\beta > 0$）と置きます。

$$\frac{S'(s)}{S(s)} = -\beta, \qquad S(0) = 1$$

左辺は $\log S(s)$ の微分です。

$$\left\{\log S(s)\right\}' = -\beta \quad \Longrightarrow \quad \log S(s) = -\beta s + c$$

$s = 0$ で $S(0) = 1$、つまり $\log S(0) = 0$ なので $c = 0$。

$$S(s) = e^{-\beta s}, \qquad F_X(s) = 1 - e^{-\beta s}$$

率 $\beta$ の指数分布の分布関数です。これで「しかない」が示せました。

議論の骨格をまとめると、性質を関数方程式に写し、微分方程式に落とし、解いた、という3段です。分布を仮定して性質を確かめるのとは逆向きで、性質から分布を決めています。

離散分布では幾何分布に限られる

同じ議論を離散側でも行えます。正の整数値を取る確率変数 $X$ が、任意の正の整数 $m, n$ について

$$P(X > m+n \mid X > m) = P(X > n)$$

を満たすとします。書き直すと

$$\frac{P(X > m+n)}{P(X > m)} = P(X > n)$$

$q = P(X > 1)$ と置きます。$q = 0$ なら $X = 1$ の1点分布になり、そもそも条件付き確率が定義できません。$q = 1$ なら $P(X > m) = 1$ がすべての $m$ で続き、有限の値を取る確率分布になりません。この2つを除くと $0 < q < 1$ です。

$n = 1$ として漸化式を作ります。

$$P(X > m+1) = q\,P(X > m)$$

順に下ろしていくと

$$P(X > m) = q^{m}$$

確率関数に直します。

$$P(X = m) = P(X > m-1) - P(X > m) = q^{m-1} - q^{m} = (1-q)q^{m-1}$$

$p = 1 - q$ と置けば $P(X = m) = p\,q^{m-1}$。これは1から数え始める幾何分布、ファーストサクセス分布とも呼ばれる分布です。

連続側と離散側で、議論の形がそろっています。連続では微分方程式、離散では漸化式。どちらも「足し算を掛け算に変える」という条件から等比の構造が出てきます。

数値で確かめる

$p = 1/3$、$q = 2/3$ の場合で確かめます。

1から数え始める版、$P(X = k) = pq^{k-1}$ なら $P(X > m) = q^m$ です。

条件	左辺	右辺
$P(X>5 \mid X>2)$ と $P(X>3)$	$8/27$	$8/27$
$P(X>6 \mid X>5)$ と $P(X>1)$	$2/3$	$2/3$

一致します。

無記憶性を持たない分布でも見ておきます。$Bin(5, 0.4)$ で $P(X \geq 3 \mid X \geq 1) = 0.3442$、$P(X \geq 2) = 0.6630$。まったく違います。$Po(2)$ でも $0.3739$ と $0.5940$ で一致しません。

2項分布は試行回数に上限があるので、進むほど残りが減ります。過去を覚えていないどころか、残り回数という形で覚えています。ポアソン分布は件数を数える分布で、待ち時間ではありません。無記憶性を持つのは、その裏側にある指数分布のほうです。

つまずきポイント：不等号が $>$ か $\geq$ かで、答える分布名が変わる

離散側には落とし穴があります。定義に使う不等号と、数え始める位置の組み合わせで、名前が変わります。

タクティクスの付録は $P(X > m+n \mid X > m) = P(X > n)$ という強い不等号で定義し、$X$ が1から始まるとしています。この設定では答えはファーストサクセス分布です。

一方、本試験では $P(X \geq a+x \mid X \geq a) = P(X \geq x)$ という等号付きで定義されました（離散型なので、ここでの $a, x$ は非負整数で考えます）。この設定では、0から数え始める幾何分布、つまり $P(X = k) = pq^{k}$ が該当します。

$$P(X \geq n) = q^{n} \quad \text{(0から数え始める版)}$$

$$P(X \geq n) = q^{n-1} \quad \text{(1から数え始める版)}$$

前者なら $\dfrac{q^{a+x}}{q^{a}} = q^{x} = P(X \geq x)$ で成り立ちます。後者だと $\dfrac{q^{a+x-1}}{q^{a-1}} = q^{x}$ に対して $P(X \geq x) = q^{x-1}$ となり、$q$ の1つぶんずれます。

$$\text{1から始まる版で} \geq \text{を使っても成り立つ} \quad \text{(これは誤り)}$$

$$\text{不等号と数え始めの位置は対で決まる} \quad \text{(正しい)}$$

数値で確かめます。$q = 2/3$、1から始まる版で $P(X \geq 5 \mid X \geq 2) = 8/27$ ですが $P(X \geq 3) = 4/9$。一致しません。

両者は1だけずれた同じ族なので、本質は同じです。ただし答案に書く名前は変わります。判断の手順は決まっています。問題文の不等号を見て、$k$ がどこから動くかを見る。名前から入らない。

この区別は、幾何分布の平均が $q/p$ か $1/p$ かという話と同じ根を持っています。数え始める位置が1つ違うだけで、平均も1だけ違いました。

本試験ではこう問われる

2016年度（H28）問題1(1)が、この付録の内容をそのまま問うています。

次の確率分布のうち、記憶喪失性を持つものは $\fbox{1}$ と $\fbox{2}$ である。（1と2は順不同）

ここで、ある種類の確率分布が記憶喪失性を持つとは、任意の定数 $a$ に対して $P(X \geq a+x \mid X \geq a) = P(X \geq x)$ が成り立つことを意味するものとする。

(A) 二項分布 (B) ポアソン分布 (C) 幾何分布 (D) 正規分布 (E) 指数分布 (F) ガンマ分布

公式解答は (C) の幾何分布と (E) の指数分布です。

問題文が記憶喪失性の定義をわざわざ書き添えているのは、不等号の向きを揃えるためです。この定義では $\geq$ を使っているので、離散側は0から数え始める幾何分布が該当します。

外れる4つの理由も押さえておきます。二項分布は試行回数に上限があり、残り回数を覚えています。ポアソン分布は件数の分布で、待ち時間ではありません。正規分布は負の値も取るうえ、裾の確率が指数関数の形になりません。ガンマ分布は形状母数が1のときだけ指数分布に一致し、それ以外では成り立ちません。

ガンマ分布が選択肢に入っているのが巧妙です。指数分布はガンマ分布の特別な場合なので、ガンマ分布と答えたくなります。しかし「ガンマ分布が無記憶性を持つ」というためには、すべての形状母数で成り立つ必要があります。$\alpha = 2$ では成り立たないので、分布族としては持ちません。

公式解答は6つの選択肢を1つずつ、裾の確率の比を書き下して検証しています。時間はかかりますが、確実な方法です。この付録の証明を読んでいれば、指数分布と幾何分布の2つだけが該当することを先に知っているので、検証は確認だけで済みます。

無記憶性そのものは、他の問題でも道具として顔を出します。保証期間を過ぎた機器が新品と同じ状態にあること、いくつか壊れた後の残りの機器が新品と同じであること。いずれも条件付き確率を計算せずに答えを出すための根拠になります。

まとめ

• 無記憶性は $P(X > s+t \mid X > s) = P(X > t)$。すでに待った時間が先の分布を変えない。
• 指数分布で成り立つのは、裾の確率 $e^{-\beta s}$ が約分で消えるから。
• 逆に、連続分布で無記憶性を持つのは指数分布だけ。関数方程式を微分方程式に落として示す。
• 離散側では幾何分布だけ。連続の微分方程式に対応するのが漸化式で、どちらも等比の構造が出る。
• 不等号が $>$ か $\geq$ かで、数え始める位置が変わり、答える名前も変わる。名前ではなく定義式から判断する。