A/Bテスト期間

計算式と考え方

必要日数は「1パターンあたり必要数 ÷ 1パターンが1日に得られる訪問者数」で求めます。1日の対象訪問者が2,000人、2パターンに均等配分するなら1パターンあたり1日1,000人となり、必要数9,000人なら9日という計算です。ただしここで打ち切ってはいけません。A/Bテストには曜日変動があり、平日と週末で行動が大きく異なるため、最低でも1〜2週間、できれば週単位の区切りで実施するのが原則です。逆に期間が長すぎるのも問題で、2か月を超えると季節要因やキャンペーンなど外部要因が混入し、施策の効果と切り分けられなくなります。

期間の目安と判断

A/Bテスト期間の詳しい解説

A/Bテストの期間設計では、統計的に必要なサンプル数と、実務上の最低期間の両方を満たす必要があります。サンプル数だけで判断すると、トラフィックの多いサイトでは数日で必要数に達しますが、その数日が平日だけだったり特定のキャンペーン期間と重なっていたりすると、得られた結論は一般化できません。曜日による行動の違いは多くのサービスで無視できない大きさがあり、最低1〜2週間、週の区切りを揃えて比較するのが基本です。曜日構成を揃えるという条件があるため、期間は連続した日数ではなく週単位で考えるほうが設計を誤りません。一方、期間が延びるほど外部要因のリスクが増します。季節変動、競合の施策、メディア露出、システム障害などが混入すると、AとBの差が施策によるものか外部要因によるものか判別できません。またCookieの削除や複数デバイスの利用により、長期のテストほど同一ユーザーが別パターンを見る割合が増える点も精度に影響します。2か月を超える設計になった場合は、期間を延ばすより効果量を大きく取れる変更に切り替えるか、パターン数を減らすほうが結論に早く到達します。パターン数は必要期間に比例して効くため、まず2パターンで大きな差を検証し、勝ったほうを細かく詰めるという段階的な進め方が現実的です。トラフィックの一部だけを対象にする方法もあり、リスクの高い変更では有効ですが、割り当て比率を下げた分だけ必要日数は伸びます。開始直後には、想定した配分比率と実際の割り当てがずれていないか（SRM）を確認しておくと、後から結果全体が使えなくなる事態を避けられます。期間中のキャンペーンや障害は記録しておき、解釈の材料として残す運用も有効です。実務で最も起きやすいのは、必要数に達した時点で即座に終了してしまうことです。統計的な条件は満たしていても、平日だけの数日で得た結論は週末の行動を含んでおらず、そのまま全期間に適用できません。最低7日、できれば14日という期間の下限は、統計とは別の理由で設けられた条件だと理解しておく必要があります。逆に2〜4週間という帯は、曜日構成を揃えたうえで外部要因の混入も限定的に抑えられるため、多くのテストで扱いやすい範囲になります。1〜2か月に及ぶ場合は、期間中に実施されたキャンペーンや季節的な需要の変動を記録し、結果を読む際の前提として残しておくことが欠かせません。開始前にマーケティング側の予定を確認し、大きな施策と重ならない時期を選ぶだけでも、解釈が難しくなる事態をかなり避けられます。

業界・現場での使い方

よくある間違い・注意点

• 必要数に達した時点で即終了する — 曜日変動を吸収できません。最低2週間、週の区切りを揃えて終了してください。
• パターン数を増やしすぎる — 必要期間はパターン数に比例して伸びます。まず2パターンで大きな差を検証するほうが早く結論に至ります。
• 外部要因を記録しない — 期間中のキャンペーンや障害は結果を歪めます。開始時に予定を確認し、発生した事象を記録してください。

関連する規格・法規

• 日本統計学会
• ASA声明

※本ツールは公的基準に基づく参考計算です。実際の設計・施工・法令適用は最新の告示・規格および所轄官庁の判断に従ってください。

よくある質問（FAQ）

関連計算ツール