■帰無仮説を立てる
統計的な仮説検定の手続きでは、最初に仮説を立てるのだが
「『データが偏っている』ので『二つの変数の間に関係がある』」
という積極的な仮説を立てるのではなく、逆に
「『二つの変数の間には関係がない』ので『データの偏りは偶然生じた』」
という「帰無仮説 null hypothesis」を立て、その帰無仮説を
「『データの偏りが偶然生じた』といえる確率は無視できるほど低い」
という論理で棄却することによって、二重否定の論理で進めていく。
■有意確率の計算
まず、得られたデータが帰無仮説によって説明できる、つまり「データの偏りが偶然生じる」確率（有意確率）を計算する。
この有意確率（たんにｐ （probabilityの略）と表されることも多い）が０になれば帰無仮説は完全に棄却されるのだが、有意確率は限りなく０に近づくことはできても、決して０にはならない。（コインを千回投げて千回表が出ても、次に０が出る確率は０ではなく、やはり二分の一！）そこで、ある一定の水準（有意水準 level of significance）を決めて、ｐがその基準より小さい場合に、無視できるとして、帰無仮説を捨てることにする。有意水準としてはふつう、５％か１％が用いられるが、これは人間の指の数を基準に決めた便宜的な値であって、数学的な必然性があるわけではない。
たとえば有意水準を５％とすると
p＞0.05なら
→「『データの偏りは偶然生じた』といえる」
→「５％水準で有意ではない」という
p≦0.05なら
→「『データの偏りは偶然生じた』とはいえない」
→「５％水準で有意」という
けっきょく、この方法では「データの偏りが必然的に生じた」という積極的な結果を示すことはできない。つまり、統計的に有意な結果が出ても、二つの変数の間に「ある有意水準を基準にすれば」「関係がないとはいえない」と控えめに言えるだけで、「関係がある」とは言い切れない。
■第一種の誤りと第二種の誤り
統計的な仮説検定法は、だから、完全な方法ではない。ときには誤った結論に導かれることもある。この誤りの可能性には二種類ある。
データの偏りが偶然なのに、偶然ではないと結論してしまう
→
第一種の誤り type one error
データの偏りが偶然ではないのに、偶然だと結論してしまう
→
第二種の誤り type two error
第二種の誤りは、実験データに含まれる貴重な情報を見過ごしてしまうだけにとどまるが、むしろ注意しなければならないのは第一種の誤りで、なにもないところに関係妄想のように関係性を見いだしてしまうことになりかねない。第一種の誤りを冒す確率は設定した有意水準と同じで、有意水準の確率が高いほどその危険性は増す。たとえば、有意水準が５％、つまり二十分の一の場合、二十回に１回はこの誤りが起こる。この場合、無関係なはずの変数の組み合わせを手当たり次第に二十通り試せば１回ぐらいは５％で有意な結果が出てもおかしくないことになる。
■実証主義と反証主義
なぜ、二重否定という回りくどい論理を使うのだろうか。この考え方は、統計的な仮説検定法だけではなく、科学的な方法論一般の考え方でもある。素朴な実証主義 positivism がより洗練されたのが反証主義 falsificationism であり、[より正確にいうと、全称命題的な]科学的仮説は検証 verify できないが、反証 falsify はできる、と考える。実証主義は、実証可能性を科学的仮説の必要条件とするが、反証主義では、反証可能性を科学的仮説の必要条件とする。
たとえば「黒いカラスが存在する」という「特称命題」は、黒いカラスを一匹見つければ証明できるが、「すべてのカラスは黒い」という「全称命題」を実証するためには、この世のすべてのカラスを観察して、全部が黒いことを示さなければならないので、事実上、不可能である。しかし、これを反証するためには、白いカラスを一匹見つけるだけでいい。