棄却検定という手法の中核をなす概念である、「帰無仮説」と「危険率」という2つのキーワードに関するお話です。
以下レジメ
1. 帰無仮説(null hypothesis)
1) 帰無仮説の特質
一般に、仮説というものは、それを正しいものと仮定して利用するか、あるいは、仮説を証明しようという意図で設定されるものであるが、統計的仮説検定における帰無仮説は、捨てられる(棄却できる)かどうかを検定するために設定される。
つまり、「データが偏っているので2つの変数の間には関係がある」という積極的な仮説を立てるのではなく、「2つの変数の間には関係がないのでデータの偏りは偶然生じた」という仮説を立てる。そして、この帰無仮説を「データの偏りが偶然生じたといえる確率は無視できるほど低い」という論理で棄却することによって、進めていくのが仮説検定である(二重否定の論理)。
2) 帰無仮説の設定
どのような仮説でも帰無仮説にとることができるわけではなく、仮説検定を行うには、仮説として適用する事象が以下の条件を満たしている必要がある。
- 厳密な仮説であること
仮説をもとに事象の起こる確率を計算しなければならないため、あいまいな仮説は帰無仮説になりえない。
- 仮説として適用する事象が1つであること
捨てやすい仮説、捨てることに意味のある仮説をとる。
- なぜ二重否定という回りくどい論理を使うのか？ ―実証主義と反証主義―
この考え方は、統計的な仮説検定法だけではなく、科学的な方法論一般の考え方でもある。素朴な実証主義 positivism がより洗練されたのが反証主義 falsificationism であり、[より正確にいうと、全称命題的な]科学的仮説は検証 verify できないが、反証 falsify はできる、と考える。実証主義は、実証可能性を科学的仮説の必要条件とするが、反証主義では、反証可能性を科学的仮説の必要条件とする。
たとえば「黒いカラスが存在する」という「特称命題」は、黒いカラスを一匹見つければ証明できるが、「すべてのカラスは黒い」という「全称命題」を実証するためには、この世のすべてのカラスを観察して、全部が黒いことを示さなければならないので、事実上、不可能である。しかし、これを反証するためには、白いカラスを一匹見つけるだけでいい。
(
明治大学 情報コミュニケーション学部 蛭川研究室HP中の
統計的仮説検定の考えかたより引用)
2. 危険率
1) 危険率の意味
仮説を証明するために計算した確率が1％であったとする。このとき、仮説を棄却した場合も、1％の確率で事象が起こる可能性があることには変わりない。つまり、1％という確率が小さいからといって仮説を捨てることにすると、仮説が正しいにもかかわらず仮説を捨ててしまう危険が1％はあるということを意味する。
2) 危険率の設定
危険率としてはふつう、5％か1％が用いられるが、これには数学的な必然性があるわけではなく、仮説を棄却するか否かを決定するためのルールにすぎない。そのため、帰無仮説を棄却しなかった場合に、危険率が6％であったか、50％であったかということを考慮する必要がある。そして、状況によっては実験をやり直したり追加したりする必要があるかどうかを考えなければならない。
また、危険率を何％にするかは、仮設が正しいにもかかわらず仮説を捨ててしまうという誤りを犯したときに、こうむる損害の重大さによって決定するべきである。
仮説検定の誤り
仮説検定は、ときには誤った結論が導かれることもある。統計学の仮説検定で起こり得るエラーには以下の3種類があり、危険率とは「第一種の過誤」が起こる確率のことである。危険率が高いほど第一種の過誤を犯す危険性は増す。
- 第一種の過誤(Type Ⅰ error): データの差異が偶然なのに、偶然ではないと結論してしまう
- 第二種の過誤(Type Ⅱ error): データの差異が偶然ではないのに、偶然だと結論してしまう
- 第三種の過誤(Type Ⅲ error): 検定方法を選択する時点で間違えてしまう
第一種の過誤と第二種の過誤のいずれに注意すべき？
第二種の誤りは、実験データに含まれる貴重な情報を見過ごしてしまうだけにとどまるが、むしろ注意しなければならないのは第一種の誤りで、なにもないところに関係妄想のように関係性を見いだしてしまうことになりかねない。第一種の誤りを冒す確率は設定した有意水準と同じで、有意水準の確率が高いほどその危険性は増す。たとえば、有意水準が５％、つまり二十分の一の場合、二十回に１回はこの誤りが起こる。この場合、無関係なはずの変数の組み合わせを手当たり次第に二十通り試せば１回ぐらいは５％で有意な結果が出てもおかしくないことになる。
(
明治大学 情報コミュニケーション学部 蛭川研究室HP中の
統計的仮説検定の考えかたより引用)
また、第一種の過誤を減らすと第二種の過誤が増える(あるいはその逆が起こる)という傾向がある。そのため、仮説検定では一般に、あらかじめ採用した十分小さい危険率に対し、検出力(対立仮説が正しいときに帰無仮説を採択する確率)をなるべく大きくするように棄却域を選ぶ方針がとられる(ネイマン・ピアソンの補題)。
引用・参考文献
そのほかの情報
※編集者注：いわゆるベイジアンとよばれるベイズ統計学を扱い、推進する人々の、頻度主義(日本の大学で学ぶいわゆる「統計学」ですね)に対する考え方です。読めば読むほど頻度主義が駄目なんじゃないかと思えてきます。どうも欧米では研究者の半数がベイジアン(ホントかウソかしりません)だとかいう話で、活発に議論が交わされているようです。頻度主義とベイズ統計学はどちらがいいとか一概に言えるものではない(言えるのなら議論など起きません)ので、ほとんど頻度主義で通ってしまっている日本の現状はちょっと不健全なんじゃないかな、とか思ったりします。
※編集者追記
カード合わせの問題
最終更新：2008年08月13日 22:52
