多重検定補正

計算式と考え方

有意水準5%で1回の検定を行う場合、差がないのに差があると判定してしまう確率は5%です。これを10回繰り返すと、少なくとも1回誤って判定する確率は「1 −（1 − 0.05）の10乗」で約40.1%まで上がります。すべてを同じ基準で厳しくする方法では、有意水準を検定回数で割るため、10回なら0.5%が基準になります。この補正により誤検出は抑えられますが、基準が厳しくなるぶん真の差を見逃しやすくなります。誤検出の割合を制御する方法では、より緩やかな補正となり、検出力の低下が抑えられます。補正の代償は、検出できる効果の大きさで確認できます。1群100人・検出力80%であれば、補正しない5%の基準では標準化した効果量0.396まで検出できますが、0.5%に補正すると0.516の差がなければ検出できません。サンプル数を増やすとこの値は小さくなり、「補正で失う分をどれだけの人数で取り戻すか」を見積もることができます。

補正の方法

多重検定補正の詳しい解説

同じデータに対して複数の検定を繰り返すと、偶然によって差があるように見える項目が現れる確率が高まります。有意水準5%とは、差がないのに差があると判定してしまう確率が5%という意味であり、20回検定すれば平均して1回は誤った判定が生じる計算になります。この問題は、多数の項目を比較する分析で必ず生じます。補正の考え方は複数あります。最も保守的な方法は、有意水準を検定の回数で割るというものです。10回の検定なら0.5%を基準とすることで、全体として誤検出が生じる確率を5%に抑えます。この方法は計算が単純で理解しやすい一方、検定の数が多くなると基準が極端に厳しくなり、実際に存在する差を見逃すという問題が生じます。100項目を比較すれば基準は0.05%となり、相当に大きな差でなければ検出されません。この過度な保守性を緩和する方法として、検出された結果のうち誤りが占める割合を制御するという考え方があります。この方法では、いくつかの誤検出を許容する代わりに、真の差を見逃す確率を下げます。遺伝子の解析のように数千から数万の項目を扱う分野で広く用いられており、探索的な分析に適しています。目的が「確実に正しいものだけを選ぶ」のか「見込みのあるものを幅広く拾う」のかによって、適した方法が変わります。実務上重要なのは、検定を何回行ったかを正しく数えることです。分析の過程で条件を変えて何度も検定した場合、報告するのが1つだけであっても、実際には多数の検定が行われています。この事実を開示せずに有意な結果だけを報告すると、誤った結論を導くことになります。分析の計画を事前に定め、行った検定をすべて記録することが、この問題を防ぐ基本的な対応です。補正は万能ではありません。補正を適用しても、サンプル数が不足していれば真の差は検出できず、また効果の大きさを示さなければ実質的な意味は判断できません。有意性の判定だけでなく、効果の大きさと信頼区間を併せて報告することが、結果の適切な解釈につながります。

業界・現場での使い方

よくある間違い・注意点

• 実際に行った検定の回数を数えない — 条件を変えて何度も検定した場合、その全てが対象です。記録が前提になります。
• 常に最も保守的な方法を使う — 検定数が多いと真の差を見逃します。目的に応じた方法の選択が必要です。
• 有意性だけを報告する — 効果の大きさと信頼区間を併せて示さなければ実質的な意味が判断できません。

関連する規格・法規

• 日本統計学会
• ASA声明

※本ツールは公的基準に基づく参考計算です。実際の設計・施工・法令適用は最新の告示・規格および所轄官庁の判断に従ってください。

よくある質問（FAQ）

関連計算ツール