p値有意水準

計算式と考え方

2群の平均値の差の検定では、まず標準誤差を「標準偏差 × √(1/群1の例数 ＋ 1/群2の例数)」で求めます。標準偏差12、各群80例なら約1.897です。平均の差3.5をこれで割ったt統計量は約1.845、自由度は158になります。この値に対応する両側のp値は約0.0670で、有意水準5%を上回るため有意差があるとはいえません。平均差の信頼区間は3.5に対して臨界値1.975と標準誤差を掛けた3.75を加減した −0.25 から 7.25 で、0をまたいでいます。効果量は3.5÷12で約0.292、この例数での検出力は約45%にとどまります。

p値をめぐる誤解と正しい理解

p値有意水準の詳しい解説

p値は、群間に差がないという仮定のもとで、実際に観察された以上の差が偶然に生じる確率を表します。この値が小さいほど、差がないという仮定のもとでは説明しにくいデータだということになり、慣習として5%を下回れば統計的に有意と表現されます。ただし、5%という基準に理論的な必然性はなく、分野の慣習として定着したものです。物理学の一部では極めて厳しい基準が用いられ、探索的な研究ではより緩い基準が使われることもあります。最も広く見られる誤解は、p値を「差がない確率」あるいは「仮説が正しい確率」と解釈することです。p値は仮説の確率ではなく、データが得られる確率であり、この2つは別の量です。同様に、有意でなかったという結果を差がないことの証明と受け取る誤りも多く見られます。例数が少なければ、実際に差があっても検出できません。有意でない結果を解釈する際は、信頼区間の幅を見て、どの程度の差までなら否定できたのかを読み取ることが求められます。区間が広ければ、単に情報が足りていないだけということになります。逆に、有意であっても差が実質的に意味があるとは限りません。例数を十分に大きくすれば、ごくわずかな差でも統計的に有意になります。臨床の場面で意味を持つのは、有意かどうかではなく、その差が治療方針を変えるほどの大きさかという点です。このため、p値だけでなく、平均差そのものと効果量、信頼区間を併記することが標準的な報告の作法として求められるようになりました。効果量は差を標準偏差で割った値で、単位に依存しないため、異なる研究の結果を比較する際にも用いられます。検定を繰り返すことによる問題も重要です。有意水準5%で20回の検定を行えば、実際には差がなくても平均して1回は有意という結果が出ます。複数の群を比較する場合や、多数の評価項目を検定する場合には、有意水準を検定の回数で割るなどの補正が必要になります。ただし、補正を強くかけると本当の差を見逃しやすくなるため、主要な評価項目をあらかじめ1つに定め、それ以外は探索的な位置づけとする設計が推奨されます。データを見てから解析方法や評価項目を選ぶ行為は、実質的に多数の検定を行うことと同じであり、報告されたp値の意味を失わせます。統計学の専門団体からは、p値を機械的な判定の道具として使うことへの注意が繰り返し示されています。0.049と0.051という2つの結果に本質的な違いはなく、閾値の前後で結論を反転させる運用は、研究の信頼性を損ないます。得られた数値を、研究の設計、測定の精度、先行知見との整合性といった文脈の中で解釈することが求められます。

業界・現場での使い方

よくある間違い・注意点

• 有意でないことを差がない証拠とする — 例数不足で検出できていない可能性があります。信頼区間の幅で判断してください。
• 有意であれば意味のある差だと考える — 例数が大きければ小さな差でも有意になります。効果量で実質的な大きさを見てください。
• データを見てから検定を追加する — 実質的な多重比較となり、報告されたp値の意味が失われます。事前に評価項目を定めてください。

関連する規格・法規

• 日本統計学会
• ASA声明

※本ツールは公的基準に基づく参考計算です。実際の設計・施工・法令適用は最新の告示・規格および所轄官庁の判断に従ってください。

よくある質問（FAQ）

関連計算ツール