AICの背景からのAICcの導出
このブログでは,下記記事のAICの導出における背景を踏襲してAICcの導出を行う.
主要参考文献は下記の3つである.
AICの背景に追加の前提
AICの導出では,モデルの取る分布はパラメトリックなクラスに属するという仮定しか置いていなかったが,AICcの導出においては,モデルの取る具体的な構造を正規線形モデルに限定する.
ここでは
の計画行列,
は
次元のパラメタベクタ,
は
の単位行列である.
このモデル設定において,真のモデルは平均を,分散共分散行列を
とする
次元の多変量正規分布である;ここで
の列数と
の次元は未知であることに留意する.
尤度関数は具体的に次のように定まる.
とおき,このモデルにおける最尤推定量
は次のように求まる.
個の観測に関するカルバック不一致は次のような形になる.
は次に示すように
倍した
個の観測に関するカルバック不一致
と等価であることに留意する.
ここでである.
AICcの導出
追加された前提も含め,個の観測に関する期待カルバック不一致を求める.
まず,であり(Puntanen et al. (2013)),
の定義から
であることから,
は
に従い,
は
に従う(Hamada et al. 2008).このことから
の第2項は次のように求まる.
次に,候補モデルのクラスに真の分布
が含まれているという強い仮定を置く.この仮定の下では,
かつ,
は未知の
次元パラメタベクタである;仮定により
の第3項は次のように変形できる.
正規線形モデルにおいて,最尤推定量である回帰係数は誤差の線形変換と等価であり,
は多変量正規分布
に従うことから(Madisen and Thyregod (2010), p.49, Theorem 3.3),
の第3項の期待値内は次のように
分布に帰着できる.
ゆえに
最終的に全体としてまとめるとは次のようになる.
ここでは
倍した最大対数尤度であることに留意する.
ここからAICcは次のように定義される.
AICcの期待値はとなる.
等価なものとして,AICcはしばしばを用いても示される.