情報量規準と尤度比検定

下記の論文を読んでいて面白かった点について個人メモ

academic.oup.com

 

AIC，BIC，ABIC，CAICなどの情報量規準(IC)は，それぞれ様々な前提や観点から導出されているが，結局のところ，2つの候補となるモデルのどちらか一方を選ぶという観点から捉えると，罰則項に対応して有意水準が定まる尤度比検定に帰着できる．
その罰則項に対応して定まる有意水準の比較は，単に情報量規準の罰則項を見るより，多パラメータをどのように許容するかを直感的に把握するのに良さそうな気がする（感想）．

 

少し形式的に書く．
lを最大対数尤度，nをデータ数，pをパラメータ数とし，情報量規準を統一的に-2l + A_{n}pの形式で書くと，各種の情報量規準は罰則項に含まれるA_nの違いで特徴づけられる；例えばAICであればA_n = 2，BICであればA_n = ln(n)となる(AICc等，この形式で書けない情報量規準もある)．このとき，2つの候補モデルM_0とM_1からM_1がある情報量基準に基づいて選択されるのは，

-2 l_1 + A_{n} p_1 \lt -2 l_0 + A_{n} p_0

 となるときであり，これを少し書き直して

-2 (l_0 - l_1) \gt A_{n} (p_1 - p_0)

 を考えると，有意水準がA_n (p_1 - p_0)の尤度比検定になる．

 

具体例として，2つの候補モデルのパラメータ数の差p_1 - p_0が1でデータ数nが100の場合，AICでモデルを選ぶことは有意水準0.15730で尤度比検定を実施することと同じ，BICでモデルを選ぶことは有意水準0.03188で尤度比検定を実施することと同じ；BICよりもAICの方が対応する有意水準が圧倒的に大きいことから，AICは楽観的であり，BICに比べて多パラメータをより許容することがわかる．

『データ分析のための数理モデル入門』を読んだ

www.amazon.co.jp

 

ここ数年データ分析に関わってきたので，手法に関しては9割は知っている内容だったが，いくつか漏れてる知識がわかってよかった（待ち行列理論の誕生死滅過程とか，AIC関連で特異モデルとか面白そう）．

 

大学教養課程の数学（微積，線形代数，確率・統計）を経験済みの人は，特に苦もなく楽しんで読める内容．分野を俯瞰的に眺める雰囲気は『複雑系入門』を思い出した．

 

www.amazon.co.jp

 

何ページか忘れたが3箇所誤植があった気がする．1つはVariance Inflation FactorがVariational Inflation Factorになっていた．

科学哲学についての備忘録1

論理実証主義，パラダイム論とその後

Disclaimer: 素人調べのため不正確な点，独自解釈があり得る．

論理実証主義と境界設定問題

　論理実証主義，あるいは論理経験主義とは，検証可能性に基づいて知識の有意味性を規定し，そのような知識の探求のみを至上命題とする立場である．この立場は経験主義の補集合的存在である形而上学を徹底的に排斥しようと試みた．また，数学の形式化を推し進めたラッセルの『プリンキピア・マテマティカ』や形而上学を最終的に終焉に向かわせたと取れるウィトゲンシュタインの『論理哲学論考』はこの立場の後押しをしたと見られる．徹底した経験主義に立つことは，形而上の概念と捉えられる因果関係なども用いない等，大変な縛りプレイになり得る．

論理実証主義は次のような2つの大きな弱点があった．

  1. 検証可能性の検証とは，科学的方法論のことであり，基本的に帰納法によるものを意味する．多くの自然科学に於いては自然の斉一性が仮定されるが，これは原理的に絶対的なものではなく，常に例外を許し得る：演繹法と比べ，帰納法は論理としては明らかに飛躍があり．このことは検証可能性の不完全性を示す．
  2. 『検証可能な知識のみが有意味である』という命題自体の有意味性は，検証可能性によって問うことができない．

　ポパーは検証可能性のより良い代替物として，反証可能性を提案した．反証可能性の要諦として，仮説は誤りがあれば指摘ができるように提案されるべきものであり，それが導く予測を反証し得る多数の実験に耐えるものは科学的であるとされる．いつでも覆る可能性を残す帰納法と異なり，仮説の反証はそこから導かれる予測の1つの反例を示すことで演繹的になされるため，反証可能性は論理としては検証可能性よりも強い．しかしながら，反証可能性は検証可能性と異なり，それ自体によって仮説をサポートしないことや，実験に於いて無数に想定され得る予備仮説によって，仮説の反証性自体が原理的に示せなくなる(『デュエム・クワインのテーゼ』)などの問題ある(補足：ポパー自身は，科学的な試みの予備的な段階において，形而上の概念をツールとして使用することに寛容であった)．

　検証可能性や反証可能性によって，科学とそれ以外を定義することは境界設定問題と呼ばれるが．最終的に科学哲学の分野において，ラウダンの1983年の論文『反証可能性の死去』以降，境界設定問題は擬似問題と見なされている：科学とはなにか原理的に厳密な定義はない．

パラダイム論と相対主義

　論理実証主義が陰りを見せたころ，クーンのパラダイム論が出現した(『科学革命の構造』)．これは論理実証主義では無視されてきた科学の歴史的な側面を大きく取り上げ，科学の営みは，保守的で漸次的な理論の改善が長期的に続く通常科学と，そこでの活動で生じる説明不能なアノマリの蓄積によって引き起こされるパラダイムシフトによって特徴づけられるとした．クーンの理論では，パラダイム間における通約不可能性やデータの理論負荷性よって，ある種の相対主義的な観点が科学の歴史の説明に導入されている．

　相対主義の徹底はクーン自身の主張と相対主義自体を無意味化し得るという意味で危険性を孕んでいた．その後の多数の批判から，最終的にクーンは主張のいくつかを弱め，また原理主義的な相対主義には陥らず，科学の合理性自体は擁護した．

　論理実証主義は，科学絶対主義とも呼べるムーブメントであったが，そのある種の反動として，科学観へのクーンによる相対主義の導入も相まって，ファイヤアベントを代表として原理主義的な相対主義とも呼べる主張がその後展開された．ファイヤアベントは原理主義的な相対主義に立ち，原始的な種族のシャーマンが持つ知識は西洋の科学者が持つ知識と優劣はないというような主張を展開した．このような科学絶対主義から原理的相対主義を経て，現代における科学者は科学哲学上の論争を真面目に取り合わなくなったとの意見もある[3]．

所感

　科学とはなんだろうか，という素朴な疑問から最近この辺りを調べていたが思いの外，沼であった．調べ始めた当初に持っていた反証可能性や検証可能性に関する期待は見事にぶち壊された．その上で，科学とはどうあるべきだろうか．現状，個人的に考えられるものとして，誤りに対する自浄作用を持ったコミュニティよって蓄積される知識の体系と探求を科学としたい(この定義であればしばしば取り上げられる「数学は科学か」という疑問にも答えられる：答えはYES)．これはプラグマティズムの祖として知られるパースの科学観に近しいものである．このような観点から，科学哲学の原理的な立場に拠らず，近年の医学や心理学における再現性の危機を捉えると，必要に応じて自浄作用が働くコミュニティの重要性は現代において高まってきてry

À suivre...?

参考文献

  1. 伊勢田哲治. (2019). 境界設定問題はどのように概念化されるべきか. 科学・技術研究, 8(1), 5-12.
  2. 野家啓一. (2016). 形而上学の排除から復権まで: 哲学と数学・論理学の 60 年 (< 特集>「数学と論理学の 60 年」). 科学基礎論研究, 43(1-2), 31-36.
  3. Marsonet, M. (2018). Post-Empiricism and Philosophy of Science. Academicus International Scientific Journal, 9(18), 26-33.
  4. Okasha, S. (2016). Philosophy of Science: Very Short Introduction. Oxford University Press.

 

A Problem on a Formal Science

Personal Notes
In the similar manner that a theory of physics can be verified by the correspondence to a physical phenomenon, can mathematics, more generally formal sciences be verified?
 
In order for the verification, a specific group of phenomena may be presumed for each formal science. For example, the Peano arithmetic as a theory of mathematics can be verified by the correspondence to a sort of phenomena that we intuitively have on the operations of natural numbers.
 
Also some of naive questions on a formal science can be simulated through a computer so that we can observe and analyse phenomena tangibly. In this sense, a computer simulation can be seen as a generator of phenomena.
 
The central limit theorem may be a good example for this: consider a distribution of sample means of independent random variables with finite variances as a naive question, a simulation of it is straightfoward and the distribution seemingly turns out to be the normal distribution; then the proof of the CLT may give us a theory which corresponds to the phenomenon actually generated by the simulation.
 
A problem related to this argument we can easily imagine is that some theories of a formal science precede corresponding phenomena or be utterly immune from phenomena. Once we build a theory or a formal model X for a specific phenomenon, then we can crank out theories by additions or omissions of parameters of X, which potentially might not correspond to any phenomena. Given that the pursuit of such theories is a commonplace in formal sciences, how can the pursuit be justified? 
 
One way of the justification can be an appeal to the potential usefulness of such a theory, which may be predicted by additions or omissions of specific parameters.
 
Incomplete...