A/Bテスト計算機｜2群CVRのZ検定・p値・信頼区間・必要サンプルサイズ

計算式（プールZ検定）

p̂ = (c₁ + c₂) / (n₁ + n₂)　（プール成功率）

SE = √( p̂(1-p̂) × (1/n₁ + 1/n₂) )

Z = (p₂ - p₁) / SE

2群のCVR差を評価する古典的手法。帰無仮説「両群のCVRは等しい」の下で標準化した検定統計量Zが標準正規分布に従うことを利用します。|Z|>1.96で両側5%水準有意、|Z|>2.576で1%水準有意です。本ツールはプールZ検定（サンプル数不均衡にも対応）を実装しています。

正規近似の適用条件

各群でnp̂≥5 かつ n(1-p̂)≥5 が目安。CVRが極端に低い（1%以下）場合や、サンプル数が数十しかない場合はFisherの正確確率検定や連続修正付きカイ二乗検定を用いるのが安全です。

p値と信頼区間

p値はZ値から標準正規分布のCDFで求めます。両側p = 2×(1-Φ(|Z|))。

差の95%信頼区間

CI₉₅ = (p₂ - p₁) ± 1.96 × √( p₁(1-p₁)/n₁ + p₂(1-p₂)/n₂ )

信頼区間が0を含まなければ5%水準で有意差ありと同等の解釈。実務ではp値より信頼区間で報告する方が「差の実務的な大きさ」を伝えやすく、報告書・意思決定資料に適しています。

必要サンプルサイズの目安表

基準CVR（コントロール）と最小検出可能差（MDE, Minimum Detectable Effect）から、α=0.05・検出力80%で必要な1群あたりサンプル数の目安。式は n = ((Z_α/2 + Z_β)² × 2p̄(1-p̄)) / (p₁-p₂)²。

CVRが低い商材ほど、有意差を出すのに莫大なサンプルが必要になります。CTRやアプリ課金率のような1%未満の指標では、テスト設計前にサンプル計画を必ず行いましょう。

テスト期間・トラフィック配分

推奨テスト期間は最低で「1週間の完全な曜日サイクル」を含むこと。曜日効果（平日/週末）、給料日・月末効果、季節性（月初新規流入）を吸収するために、2週間以上を推奨するグロースチームが多数です。

トラフィック配分のセオリー

• 50/50配分：検出感度最大、最短で有意差が出る（デフォルト推奨）。
• 90/10配分：新機能のリスクを抑えたい場合。ただし所要期間が約3.6倍に延びる。
• 多腕バンディット：勝ちバリアントに動的にトラフィックを寄せ、機会損失を減らす。厳密な有意差検定は難しくなる。

覗き見問題（peeking）と逐次検定

A/Bテストの最大の落とし穴が結果を途中で見て有意になったら止めるという慣習です。これは第一種過誤率α=5%を大幅に膨張させる悪手で、実際の偽陽性率は20〜30%まで上昇するという研究があります。

正しい対処法

• 事前にサンプルサイズを固定し、完了まで見ない・停止しない。
• 逐次検定（SPRT/GST）を使う。事前に「見るタイミング」を設計し、α消費関数（O'Brien-Fleming、Pocockなど）で調整。
• always-valid confidence sequences（Robbins流の信頼列）を採用する。統計的に妥当なリアルタイム判定が可能。

Optimizely、VWO、Growthbookなど主要A/Bテストプラットフォームは「Sequential Testing」オプションで自動対応しています。有効化を推奨。

多重比較（Bonferroni / FDR）

A/B/C/D...と複数バリアントを同時比較する場合、家族全体の第一種過誤率（FWER）を制御するためにα補正が必要です。

ゴールデンルールとして「ダッシュボードで100指標を同時に眺めていれば、Bonferroni補正しないと必ず偽陽性が出る」ことを覚えておきましょう。

ベイジアンA/Bテスト

頻度論のZ検定が「有意/非有意」の二値判定なのに対し、ベイジアンA/Bはビジネス側にとってより自然な「Bが勝つ確率」「勝ちマージンの分布」を返します。

基本モデル

各群のCVRに Beta(α₀, β₀) 事前分布（無情報ならBeta(1,1)）を置き、観測後の事後分布 Beta(α₀+c, β₀+n-c) からサンプリング。P(p_B > p_A) をモンテカルロで求めます。

頻度論との違い

• 途中経過を見ても意思決定を歪めない（覗き見問題に強い）。
• 「勝つ確率」に加え「期待損失（Expected Loss）」で意思決定基準を設計できる。
• 事前分布の選び方でバイアスが入る可能性がある（無情報事前分布推奨）。

業界・場面別の使い方

よくある間違い・注意点

• サンプル数不足でnullを結論する — 有意でない=差がない、ではありません。検出力不足で「見逃しただけ」の可能性が常にあります。事前にサンプルサイズと検出力を計算しましょう。
• 途中で有意になったら止める（peeking） — 第一種過誤率が5%→20%以上に膨張する重大な悪手。事前計画を守るか、逐次検定を採用しましょう。
• 多重比較を補正しない — 10指標×2バリアントを目grep で見ると、真の効果ゼロでも1つは5%水準を偶然突破します。Bonferroni/FDR補正必須。
• シンプソンのパラドックスに気づかない — 全体で勝っていても、セグメント（デバイス・地域）別に見ると全部負けている、という現象が発生します。主要セグメントで層別解析を必ず実施。
• SRM（Sample Ratio Mismatch）を確認しない — 50/50配分のはずが実測48/52なら、A/Bツールの割り振り・トラッキングにバグがあります。カイ二乗検定でSRMチェックが必須。
• ノベルティ効果・プライミング効果を無視 — 新機能はリリース直後にクリック増が発生（ノベルティ）。長期テストで平常状態を捉えるか、既存ユーザーと新規ユーザーで層別分析を行いましょう。
• 効果量（実務的意義）を無視して有意性のみ報告 — 100万サンプルなら0.01%pt差でも有意になります。相対効果・LTVインパクト・開発コストを合わせて判断が実務。

関連する規格・実務標準

• ICH E9 ― 臨床試験のための統計的原則（医薬品規制調和国際会議）。A/Bテストが医療機器・治療プロトコルに絡む場合、群分け・多重比較・α消費の基準として参照されます。
• ISO 5725 ― 測定方法及び測定結果の精度（真度及び精度）の標準。統計手法の適用範囲・不確かさ評価。
• CONSORT声明 ― Consolidated Standards of Reporting Trials。RCT報告の国際標準で、A/Bテスト報告書の型としても採用が増えています。
• GDPR / 個人情報保護法 ― A/Bテストが個人データに基づく場合、事前同意・目的明示・データ保持期間の順守が必要。
• Microsoft Experimentation Guidelines ― マイクロソフトのオンライン実験プラットフォームチーム（ExP）が公開する、業界のデファクトスタンダード的な実験設計指針。

参考文献・公的資料

より深く学ぶには、以下の信頼できるドキュメント・研究論文を参照してください。

• Microsoft ExP - Experimentation Platform ― Ronny Kohavi らによるオンライン実験の教科書的サイト。数千の実例を元にした設計指針。
• Google Research: Overlapping Experiment Infrastructure ― Googleの多層実験基盤の論文。同時多数A/Bを走らせる設計思想。
• R統計環境: pwrパッケージ ― Cohen (1988) に基づく検出力・サンプルサイズ計算のリファレンス実装。
• 日本統計学会 ― 日本の統計学の中核学会。学会誌『日本統計学会誌』でA/Bテスト関連論文多数。
• 総務省 統計局 ― 公的統計の総本山。統計調査の設計・標本抽出の基本を学べる。
• ITmedia：A/Bテスト特集 ― 業界事例・ツール比較の日本語リソース。
• Johari et al. (2015) Always Valid Inference ― 覗き見問題を根本解決する統計的推論の論文。Optimizely/Statsig等の実装のベース理論。
• Trustworthy Online Controlled Experiments（Kohavi他） ― A/Bテスト実務の決定版書籍公式サイト。
• NIST 統計工学（米国国立標準技術研究所） ― 統計手法の技術文書・SEMATECH e-Handbook of Statistical Methods。
• 日本行動計量学会 ― 心理・社会科学分野の統計手法の学会。

よくある質問（FAQ）

関連計算ツール