その名前をどこで見るか

数学の教材でマルコフの名前が出てくる場所は3つあります。

モデリング編の確率過程で、マルコフ連鎖として出てきます。状態がいくつかあり、次にどの状態へ移るかの確率分布が現在の状態だけで決まる過程です。過去の履歴は効きません。

$$P(X_{n+1} = j \mid X_n = i,\ X_{n-1} = i_{n-1}, \dots) = P(X_{n+1} = j \mid X_n = i)$$

この性質をマルコフ性といいます。次の1歩の出やすさは現在地だけで決まる、という言い方です（試験で扱うのは、この推移確率が時刻 $n$ にもよらないタイプです）。

計算の道具としては推移確率行列 $Q$ が出てきます。行を出発状態、列を到着状態として、状態 $i$ から状態 $j$ へ移る確率 $q_{ij}$ を並べた行列で、初期分布を行ベクトル $p_0$ とすると $n$ 歩後の分布は $p_0 Q^n$ で求まります。

3つめがマルコフの不等式です。非負の確率変数 $X$ と $a > 0$ について

$$P(X \geq a) \leq \frac{E(X)}{a}$$

平均だけから裾の確率を上から押さえる不等式で、チェビシェフの不等式の土台になります。

教材とタクティクスを合わせて数えると、マルコフの出現数は141回でした。ポアソンの332回に次ぐ2位です。

どんな人だったか

アンドレイ・アンドレエヴィチ・マルコフ（1856年生まれ、1922年没）はロシアの数学者です。

ペテルブルク大学で学び、そのまま同大学で教えました。師はチェビシェフです。ロシアの確率論には、チェビシェフからマルコフとリャプノフへという系譜があり、マルコフはその中核にいます。

本業は数論と解析でした。連分数、直交多項式、モーメント問題。確率論は仕事の一部で、しかも後半に取り組んだ領域です。

論争を好む人でもありました。確率論をめぐる議論のなかで、彼が連鎖を導入した動機も論争にあります。

なぜその概念が必要になったか

当時、大数の法則には独立性が前提として付いていました。独立な試行を繰り返せば標本平均が真の平均に近づく、という形です。

ここに、独立性がなければ大数の法則は成り立たない、という主張をする論者がいました。マルコフはこれに反対しました。独立でなくても成り立つ場合があることを示そうとしたのです。

そこで作ったのが、独立ではないが扱える程度に単純な依存構造でした。次の1歩が現在の状態だけで決まり、それより前の履歴には依存しない。依存はしているが、依存の仕方に制限がある。これが連鎖です。

つまりマルコフ連鎖は、確率過程の理論を作るために生まれたのではなく、大数の法則の適用範囲を広げる反例として生まれました。1906年頃のことです。

有名な応用が、プーシキンの詩『エフゲニー・オネーギン』の文字列の解析です。母音と子音の連なりを数え、母音の次に母音が来る確率、母音の次に子音が来る確率を求めました。文字は独立に並んでいないが、直前の1文字が母音か子音かで次の文字の出やすさが変わるモデルで記述できる。数学的な主張の実例として文学作品を使ったことになります。

いまマルコフ連鎖が使われている領域を数えれば、待ち行列、信頼性、株価、保険料率。生まれた動機とはかけ離れていますが、扱いやすい依存構造という骨格は変わっていません。

試験ではこう出る

2001年度から2025年度までの25年度で、マルコフという語が問題文または解答例に現れるのは3年度です。推移確率行列という語まで含めると10年度になります。

名前より行列のほうが多く出ます。名前を知らなくても、行列を掛ける問題として出てきます。

出方には型があります。

状態間の移動を繰り返す設定を与え、何回か後の状態の確率を求める形。壺から球を取り出して交換する、点が上下左右に動く、といった設定で状態を定義します。推移確率行列を作り、その累乗を計算します。

極限分布を求める形。試験に出る型（どの状態からもどの状態へも行き来でき、周期的な振動もしない連鎖）では、$n \to \infty$ での分布 $\pi$ は $\pi Q = \pi$ と $\sum_i \pi_i = 1$ を満たすので、連立方程式を解きます。行列の累乗を計算しなくても、この方程式だけで答えが出ます。

行列の累乗を効率よく計算する形。タクティクスの下巻には固有値と行列の $n$ 乗を扱った付録が置かれています。対角化してから累乗する道筋です。

マルコフの不等式そのものが問われることは少ないのですが、チェビシェフの不等式を導く途中で使われます。$X$ を $(X-\mu)^2$ に置き換えれば、マルコフの不等式からチェビシェフの不等式が出ます。

タクティクスのモデリング編には、マルコフ連鎖は推移確率行列の問題として登場するので、行列計算はこの機会に練習しておくとよい、というコメントが付いています。損保数理でも同じ形で推移確率行列が出てくるためです。無事故等級の遷移など、保険料率の計算に直結します。

まとめ

  • マルコフ（1856年生・1922年没、ロシア）はチェビシェフの弟子。本業は数論と解析。
  • マルコフ連鎖は、独立でない試行列でも大数の法則が成り立つことを示すために導入された。
  • 次の1歩の確率分布が現在の状態だけで決まる。依存はするが、依存の仕方に制限がある構造。
  • 数学の過去問25年度のうち、名前が出るのは3年度、推移確率行列という語では10年度。
  • 極限分布は $\pi Q = \pi$ と $\sum_i \pi_i = 1$ を解けば出る。行列の累乗を計算する必要はない。