A/Bテスト計算機｜2群のCVR差の有意性
A/Bテストを計算する無料電卓。各群のサンプル数・コンバージョン数から、CVR差の有意性を瞬時判定。
A/Bテスト判定ツール
ABテストとは
A/BテストはWebサイト・広告で「どちらが効果的か」を統計的に判定する手法。CVRの差をZ検定で評価。サンプルサイズが小さいと検出できないので、事前に必要数を計算することが重要。
計算式と考え方
Z = (p₂ − p₁) ÷ √(p̂(1-p̂) × (1/n₁ + 1/n₂))
p̂ = プールされた成功率
|Z|>1.96で5%水準有意。但し効果量も併せて確認。
計算例
- A:1000で50CV、B:1000で75CV → Z≈2.39・有意差あり
- A:100で5CV、B:100で7CV → Z≈0.62・有意差なし
注意点・落とし穴
- サンプル数不足で見逃す。事前にサイズ計算
- 多重比較の問題。A/B/C/Dなら補正必要
- 覗き見問題。途中で結果見て止めると偽陽性増
よくある質問（FAQ）
CVR差1%は有意？
サンプル数次第。各10万なら有意、各100では不有意。
途中で結果見ていい？
悪手。事前計算した数まで実行が原則。
Bayesian A/Bテストとは？
確率分布で評価。「Bが勝つ確率87%」など直感的。