AICとBICで答えが割れるのはなぜか — モデル選択と不完全なデータ

この記事で身につくこと

クレーム額の分布をデータから推定するとき、候補となる分布は1つではありません。この記事を読み終えると、複数の候補モデルをAIC・BICで採点して選べるようになり、2つの基準で選択が割れたときに何が起きているのかを説明できるようになります。あわせて、免責金額や支払限度額でデータが欠けているときに、観測データの分布を真の分布とどう結びつけるかが分かります。

記号と用語を日本語に直す

用語のずれを1つ名指しします。教科書や問題文では「情報量基準」の名前がAIC・BICと略称で出ますが、対数尤度の記号が $\log L$ だったり $\ln L$ だったりします。どちらも自然対数です。また、切断（truncation）と打ち切り（censoring)は日本語がよく似ていますが、別の概念です。切断はデータそのものが存在しない（報告されない）こと、打ち切りはデータは1件として存在するが値が正確に分からないことを指します。

核になる式：当てはまりとペナルティの綱引き

AICもBICも「第1項＋第2項」の足し算で、値が小さいほど良いモデルです。

$$\mathrm{AIC} = -2\log L + 2k, \qquad \mathrm{BIC} = -2\log L + k\log n$$

第1項 $-2\log L$ は当てはまりの悪さです。モデルにパラメータを足して広げていくと（狭いモデルを含む形の拡張である限り）尤度 $L$ は下がらないので、第1項は改善し続けます。それだけで選ぶと、過去のデータに合わせすぎた複雑なモデル（過剰適合）が勝ってしまう。そこで第2項が複雑さへのペナルティとして働きます。

2つの基準の違いはペナルティだけです。AICは $2k$ で、データが何件あっても変わりません。BICは $k\log n$ で、サンプルが多いほど重くなります。$n$ が8件以上になると $\log n > 2$ となるので、実務のデータではBICのペナルティのほうがほぼ常に重く、BICはよりシンプルなモデルを選びやすくなります。

適合度そのものを検定したいときは、カイ二乗適合度検定を使います。データを $m$ 個のグループに分け、観測数 $n_j$ と期待数 $E_j$ から

$$Q = \sum_{j=1}^{m} \frac{(n_j - E_j)^2}{E_j}$$

を作り、自由度 $m - r - 1$（$r$ は推定したパラメータ数）のカイ二乗分布と比べます。AIC・BICが「候補の中でどれが相対的に良いか」を答えるのに対し、適合度検定は「このモデルは棄却されるか」を答えます。役割が違うので、併用されます。

数値例

200件の実績データに5つのモデルを当てはめたところ、最大対数尤度とパラメータ数が次のようになったとします。

手順は2段階です。まず全モデル共通の第1項 $-2\log L$ を出し、次にペナルティを足します。BICに必要な $\log 200$ は、$200 = 2^3 \times 5^2$ と分解して $\log 2 = 0.693$、$\log 5 = 1.609$ から組み立てます。

$$\log 200 = 3\log 2 + 2\log 5 = 2.079 + 3.218 = 5.297$$

AICの最小はモデルD（1693.0）、BICの最小はモデルC（1706.788）。同じデータ・同じ尤度から出発したのに、選ばれるモデルが割れました。$\log 200 = 5.297 > 2$ なので、BICはパラメータを1つ増やすことに2.6倍以上のコストを課しており、その分シンプルなCに軍配を上げたわけです。

表を縦に見ると、CからDへ進むと第1項は2.6下がりますが、AICのペナルティ増は2、BICのペナルティ増は5.297です。当てはまりの改善2.6がAICのコスト2は上回り、BICのコスト5.297には届かない。割れ方の正体はこの1行の比較に尽きます。

不完全なデータ：見えない部分を式で補う

免責金額 $d$、支払限度額 $u$ の保険を考えます。真の損害額 $X$ に対して、保険会社が観測できるクレーム額 $Y$ は

$$Y = \begin{cases} X - d & (d < X \le u + d) \\ u & (X > u + d) \end{cases}$$

です。$X \le d$ の事故はそもそも報告されません（左切断）。$X > u+d$ の事故は $Y = u$ という値に丸まって記録されます（右打ち切り）。

観測データ $Y$ の密度関数は、報告された（$X > d$ の）事故という条件付き分布として

$$f_Y(y) = \frac{f_X(y+d)}{1 - F_X(d)} \qquad (0 < y < u)$$

になります。分母の $1 - F_X(d)$ は免責金額を超える確率で、報告される事故だけに母集団を絞ったことによる調整です。なお $y = u$ には密度でなく確率の塊が残ります。$Y = u$ となる確率は $\dfrac{1 - F_X(u+d)}{1 - F_X(d)}$ で、打ち切られた観測は尤度にこの生存確率の形で入れます。この関係式を通せば、観測された $Y$ のデータに最尤法を適用して、真の $X$ のパラメータを推定できます。

なお、少額データは豊富でも巨大損害のデータは極端に少ない、という偏りに対しては、金額の領域ごとに別の分布をつなぎ合わせるスプライシング（接合）という手法もあります。本体は経験分布、裾はパレート分布のように、成分の分布をそれぞれの区間で確率1に直したうえで、総和が1になる重みで各区間に配分して接合します。

試験ではこう出る

AIC・BICの計算問題は 2025.1(3) で出題されました。最大対数尤度とパラメータ数の表からAICとBICを計算させ、それぞれの基準で選ばれるモデルを答えさせる形式で、上の数値例と同じ構成です。実際の出題でも、AICとBICで選択されるモデルが割れる設定でした。

カイ二乗適合度検定を使う問題は、平成12年度以降の26年度中3年度（2009・2019・2025年度）に出ています。

免責金額がある設定でクレームの分布を扱わせる問題は、この科目の定番です。H15.1(2)・H19.1(10) などが典型で、タクティクス第2章「クレームの分析」には免責を含む問題が3問収録されています。免責で件数と金額の分布がどう変わるかを立式する際の土台が、上の条件付き分布の考え方です。

この記事の内容は暗記事項ではなく、モデル選択の計算問題を手順どおりに処理し、免責付きの問題で観測分布と真の分布を取り違えないための前提です。

つまずきポイント：切断と打ち切りを取り違える

免責金額以下のクレームがデータから欠落していることを「右打ち切り」と呼ぶ（これは誤り）。正しくは左切断です。同様に、支払限度額で真の損害額が分からなくなることを「左切断」と呼ぶのも誤りで、正しくは右打ち切りです。

覚え方は数直線です。免責は数直線の左端（小さい損害）を切り落とすから左切断。支払限度額は右端（大きい損害）を $u$ で頭打ちにするから右打ち切り。切断されたデータは件数ごと消えているのに対し、打ち切られたデータは「$u$ 以上だった」という情報付きで1件残っている、という違いもここから思い出せます。

正誤問題でこの2語を入れ替えた文が出たら、数直線のどちら側が欠けるかを描いて判定してください。

まとめ

• モデル選択の物差しはAICとBIC。どちらも「当てはまりの悪さ＋複雑さのペナルティ」で、小さいほど良い。
• ペナルティはAICが $2k$、BICが $k\log n$。データが多いほどBICは重くなり、シンプルなモデルを選びやすい。両者で選択が割れることがある。
• 免責金額は左切断、支払限度額は右打ち切り。観測データの密度は $1-F_X(d)$ で割った条件付き分布になり、これを通して真の分布を推定する。

※ 厳密に言えば（補注）

• 数値例の $\log 200 = 5.297$ は、問題で与えられた丸め値 $\log 2 = 0.693$、$\log 5 = 1.609$ による計算値です。厳密には $\log 200 = 5.2983\ldots$ で、表のAIC・BICも丸めを含みます。本試験でも与えられた対数値で計算するのが前提です。
• 切断と打ち切りの説明は要点化しています。厳密には、切断では該当する観測が件数ごと記録されない（何件欠けたかも分からない）のに対し、打ち切りでは観測は1件として残り「閾値を超えた」という情報だけが得られます。