A/Bテスト最低

計算式と考え方

2群の比率の差を検定する場合の標準的なサンプルサイズ設計式を使います。現状のコンバージョン率をp1、改善後をp2とすると、1群あたりの必要数nは「(Z(α/2)×√(2p̄(1−p̄)) + Z(β)×√(p1(1−p1)+p2(1−p2)))² ÷ (p2−p1)²」で求まります。p̄は両群の平均です。現状CVR 3%、相対20%の改善（3.6%）を有意水準95%・検出力80%で検出するには、1パターンあたり約13,900人、合計約27,800人が必要という計算になります。検出したい差が小さいほど必要数は急激に増え、改善幅を半分の相対10%にすると約53,000人と4倍近くに膨らみます。

改善幅と必要サンプル数（CVR3%・有意水準95%・検出力80%）

A/Bテスト最低の詳しい解説

A/Bテストで最も多い失敗は、必要なサンプルサイズを計算せずに開始し、途中の数字を見て「勝った」と判断してしまうことです。コンバージョン率は日々ばらつくため、少数のデータでは偶然の差が有意に見えます。事前にサンプルサイズを決め、その数に達するまで結果を見ないという運用が、統計的に正しい判断の前提になります。必要数を決めるのは、現状のCVR、検出したい差、有意水準、検出力の4つです。このうち最も効くのが検出したい差で、計算式の分母が差の2乗になっているため、狙う差を半分にすると必要数は約4倍に膨らみます。相対20%の改善なら1パターン約13,900人で足りるのに、相対5%では約208,000人を要するのはこの構造によるものです。有意水準や検出力も必要数を動かしますが、差ほど感度は大きくありません。検出したい差は統計から決まる値ではなく、「その差があれば施策として採用する価値がある」という実務側の閾値から決める数字です。ここを小さく置くほど検証は精緻になりますが、必要期間は現実離れしていきます。トラフィックが限られるサイトで数%の改善を検出しようとすると成立しないため、その場合はより大胆な変更を試す、CVRの高い下流のステップでテストする、複数施策をまとめて検証するといった設計変更のほうが合理的です。あわせて見落とされやすいのが、指標を数多く見ることの影響です。主要指標のほかに副次指標をいくつも並べ、有意になったものを探すと偶然の有意が混じります。判断の基準とする主要指標を1つ事前に決め、他は参考として扱う運用が安全です。ここで算出される数値はあくまで設計上の必要数であり、実際の効果量が想定より小さければ検出力は下がる点も踏まえて計画してください。検出力80%という設定は、本当に差があるときにそれを有意と判定できる確率が8割、裏を返せば2割は見逃す前提を置いているという意味です。見逃しのコストが高い意思決定であれば90%に上げる選択もありますが、その分必要数は増えます。運用面で最も守りにくいのが、結果を途中で見ないという原則です。検定を繰り返すほど偶然有意になる確率は積み上がるため、有意になった時点で止める運用は偽陽性を大きく増やします。どうしても早期に判断したい場合は、逐次検定に対応した補正手法を用いる必要があり、通常の検定を繰り返すこととは別物です。あわせて、新しい見た目に一時的に反応が集まることもあるため、開始直後の数字をそのまま効果と読まない前提で期間を設計してください。

業界・現場での使い方

よくある間違い・注意点

• 途中で結果を覗いて止める — 有意になった時点で止めると偽陽性が大幅に増えます。事前に決めた数に達するまで判断を保留してください。
• 小さな改善幅を狙う — 検出したい差を半分にすると必要数は約4倍です。トラフィックに見合う効果量を設定してください。
• 期間を考えず開始する — 曜日変動があるため最低でも1〜2週間、週単位で区切るのが基本です。必要数に達しても日数が足りなければ延長してください。

関連する規格・法規

• 日本マーケティング協会
• 日本広告業協会

※本ツールは公的基準に基づく参考計算です。実際の設計・施工・法令適用は最新の告示・規格および所轄官庁の判断に従ってください。

よくある質問（FAQ）

関連計算ツール