Cohen's h 計算ツール｜2比率の効果量を角変換で算出・A/Bテスト設計の基盤指標

計算式と角変換の意味

基本式

φᵢ = 2 × arcsin(√pᵢ)

h = |φ₁ − φ₂|

φ(ファイ)は各比率を角変換した値、h はその差の絶対値です。arcsin は逆正弦関数(radians)で、比率 p を「弧の長さ」に置き換える幾何学的変換です。単位はラジアン(radian)相当で無次元。

なぜ角変換が必要か

比率(割合)は 0-1 に制約されるため、その分散は p の値により大きく変化します(0.5 で最大 = 0.25、0.1 で 0.09、0.01 で 0.0099)。標準誤差 SE = √(p(1-p)/n) が p に依存するため、単純な絶対差 |p₁-p₂| だけでは効果量として比較困難です。角変換によって分散を均質化(variance-stabilizing transformation)することで、境界(0%/100%)付近の比率差も中央(50%)付近の比率差も同じスケールで比較できるようになります。

角変換の直感

|1% と 5%|(絶対差4%)の実質的差は、|50% と 54%|(絶対差4%)より大きいと直感します(1% → 5% は5倍の増加、50% → 54% は8%の増加)。Cohen's h はこれを数式化した指標です。実際、10%→15%は h≈0.16(ごく小)、50%→55%は h≈0.10(ごく小)で、境界寄りの差の方が h が大きくなります。

フィッシャー角変換の意味

角変換 φ = 2 arcsin(√p) はロナルド・フィッシャー(Ronald Fisher)が1922年に提案した分散均質化変換で、二項分布の分散が p の関数(p(1-p)/n)であるという問題を解決します。この変換により、任意の p について φ の分散は 1/(4n) に一定化され、比較可能な効果量スケールが得られます。統計学の歴史では、フィッシャーの角変換は正弦法(arcsin method)、Anscombe変換(√((x+3/8)/(n+3/4))とセット)、logit変換(log(p/(1-p)))と並ぶ「比率データの標準化技法」として位置付けられ、心理学・医学・生物統計・言語学(コーパス言語学)等でも広く応用されています。Cohen's h は、この歴史的変換を効果量指標として洗練させた成果と言えます。

Cohen 基準と解釈

これは Cohen (1988)『Statistical Power Analysis for the Behavioral Sciences (2nd ed.)』で示された目安値(convention)であり、絶対基準ではありません。医学・薬事・重大な政策判断では、より厳しい基準(h≥0.5でも「小」と見なす等)を採用することもあります。分野の慣例を確認して使い分けてください。

代表的な比率ペア別 h 早見表

実務で頻用する比率ペアと対応する Cohen's h の値。境界(0%/100%)付近ほど h が大きくなる特性が見て取れます。

興味深い点として、絶対差20%でも h の値が p の位置により 0.40〜0.50 と変わり、特に境界寄り(10%→30%)ほど h が大きくなります。この特性が「A/Bテストでベースが低い(まれな行動)ほど改善効果が検出しやすい」という経験則の数学的説明となります。

絶対差・相対差・オッズ比との違い

実務では効果量として h、統計的判定として χ² 検定または z 検定 for proportions、実務説明として絶対差・相対差、疫学解釈として RR/OR を併記するのが理想的です。「CVRが3%→3.5% (絶対差+0.5pt / 相対 +16.7% / Cohen's h=0.028)」のような3表現が現代 A/B テスト報告の標準スタイルです。

サンプルサイズ計算への応用

公式(片側検定・両群等数)

n = ((z_α + z_β) / h)² × 2

ここで z_α は有意水準の分位点(α=0.05片側なら1.645)、z_β は検出力の分位点(1-β=0.80なら0.842)。両群それぞれに n サンプル必要です。

典型ケース(α=0.05片側・検出力80%)

CVR 3%→3.5%(h≈0.028)の検出には両群あたり数万〜十万サンプル必要となり、EC・広告のリアルタイム A/B テストで「有意判定に時間がかかる」原因の数学的説明です。サンプルサイズ計算ツールで正確な n を算出できます。

業界での使い方

R/Python/G*Power 実装

R (pwr パッケージ)

library(pwr)
h <- ES.h(p1=0.10, p2=0.15) # h ≈ 0.16
pwr.2p.test(h=h, power=0.80, sig.level=0.05)

Python (statsmodels)

from statsmodels.stats.proportion import proportion_effectsize
from statsmodels.stats.power import zt_ind_solve_power
h = proportion_effectsize(0.15, 0.10) # h ≈ 0.16
n = zt_ind_solve_power(effect_size=h, alpha=0.05, power=0.80)

G*Power(スタンドアロン)

Test family: z tests → Statistical test: Proportions: Difference between two independent proportions → Type of power analysis: A priori。事前分析(必要サンプルサイズ算出)と事後分析(達成検出力算出)の両方対応。心理学・医学分野で最も広く使われる無料統計ソフト。

よくある間違い・注意点

• % と 小数の混同 — 「10%」を p=10 と入力すると arcsin(√10) はエラー。%表記は0.10に変換して計算します。本ツールは%入力ですが、多くの統計ソフトは小数入力なので確認が必要。
• 0% や 100% で無定義 — √0=0, arcsin(0)=0 と定義されますが、実データで観測比率が真の 0% になるケースは稀。Wilson score interval や Bayes 事前分布で境界処理する必要があります。
• Cohen's d との混同 — d は連続変数(平均差÷SD)、h は比率(角変換差)。両者の値を直接比較できず、大小関係も別基準。混同すると論文で reject されます。
• 絶対差との混同 — 「絶対差5% ≒ h=?」は p の位置により変わります。10%→15% と 40%→45% では同じ絶対差でも h が異なります。
• 片側・両側の取り違え — サンプルサイズ計算で「両側検定」を選ぶと必要 n が増えます(z_α が1.960 vs 片側1.645)。事前登録試験では両側が原則。
• 正負の符号を無視 — 通常 h=|φ₁-φ₂| として絶対値で報告しますが、方向性が重要な場合(改善が悪化か)は符号付きで報告します。
• 期待値ベースと観測値ベースの混同 — 事前サンプルサイズ計算では期待効果量(先行研究や小規模パイロットから)、事後効果量は観測比率から算出。両者を混同すると検出力が過大評価されがち。

論文・レポートでの報告例

心理学(APA 7版準拠)

「実験群の課題正答率(75%)は対照群(60%)より有意に高かった、χ²(1, N = 200) = 4.71, p = .030, h = 0.32(小効果量)」のように、有意判定と効果量を併記します。

医学(CONSORT声明準拠)

「Treatment group: 24/60 (40.0%); Control group: 12/60 (20.0%); Difference: 20.0%, 95% CI [4.2%, 35.8%]; Cohen's h = 0.44; χ²(1) = 6.03, p = .014」— 絶対度数・%・絶対差・CI・h・χ²・pの完全報告フォーマット。

マーケティング(実務レポート)

「LP改修版のCVRはコントロール版より有意に改善(コントロール:2.8%、バリアント:3.5%、絶対差+0.7pt、相対リフト+25.0%、Cohen's h = 0.041、χ²=15.32, p<.001, n=10,000/群)。ただし効果量は小さく、実装コストと収益効果の比較が実務判断のポイント」といったビジネス向け解釈を追記するのが理想。

関連する規格・教科書

• Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.) ― 効果量と検出力分析のバイブル。h/d/f/w等の効果量指標と基準値の原典。
• APA Publication Manual (7th) ― 効果量報告を推奨する米国心理学会論文執筆ガイドライン。
• ICH E9 (R1) Statistical Principles ― 医薬品臨床試験の統計解析ガイドライン。事前サンプルサイズ・多重比較・検出力の要件。
• CONSORT声明 ― RCT報告ガイドライン。効果量とその信頼区間の報告要件。
• STROBE声明 ― 観察研究報告ガイドライン。効果量と p 値の並列報告推奨。
• ISO 5479 ― 統計的データ解釈の国際規格。
• JIS Z 9041 ― データの統計的な解析方法。日本の統計品質規格。

参考文献・公的資料

• G*Power 公式(Heinrich-Heine-Universität Düsseldorf) ― 無料の検出力分析ソフト。Cohen's h ベースの事前・事後分析対応。心理学・医学研究の標準ツール。
• CRAN pwr パッケージ vignette ― R 言語の検出力・効果量計算パッケージのマニュアル。ES.h() 関数の使用例。
• statsmodels 公式ドキュメント ― Python の proportion_effectsize 関数のリファレンス。
• APA Publication Manual ― 論文執筆・効果量報告のガイドライン。
• ICH E9 統計原則 ― 医薬品規制調和国際会議のガイドライン。事前サンプルサイズ計算の要件。
• CONSORT声明 ― RCT報告ガイドライン公式。
• STROBE声明 ― 観察研究報告ガイドライン公式。
• PMDA 医薬品審査ガイダンス ― 日本の医薬品医療機器総合機構による臨床試験統計解析のガイダンス。
• 日本心理学会 ― 心理学研究における効果量報告基準の学術団体。
• 日本計算機統計学会 ― 計算機統計・データ科学の学術団体。

実践シナリオ別 計算例

ケース1: EC決済ボタン色 A/B テスト

コントロールCVR = 3.0%(p₁=0.03)、バリアントCVR = 3.5%(p₂=0.035)。φ₁ = 2arcsin(√0.03) ≈ 0.348、φ₂ = 2arcsin(√0.035) ≈ 0.376。h = |0.376−0.348| ≈ 0.028。効果量としてごく小。両群あたり約16,000サンプル必要(検出力80%、α=0.05片側)。

ケース2: 医療試験(降圧薬 vs プラセボの目標到達率)

プラセボ群到達率 25%(p₁=0.25)、薬剤群到達率 45%(p₂=0.45)。h ≈ 0.42。小〜中の効果量。両群あたり約90サンプルで検出力80%を達成でき、Phase II 試験の妥当なサンプルサイズです。

ケース3: 選挙世論調査(月次支持率変化)

先月支持率 45%(p₁=0.45)、今月支持率 40%(p₂=0.40)。h ≈ 0.10。ごく小。両群あたり約1,200サンプルで有意差検出可能。標本1,000-3,000の一般的世論調査で検出できる規模の効果量です。

ケース4: 教育介入(教材A vs Bの合格率)

教材A合格率 60%(p₁=0.60)、教材B合格率 75%(p₂=0.75)。h ≈ 0.32。小の効果量。両群あたり約155サンプルで検出可能。教育研究では Hedges の g とセットで報告するのが慣例で、d と h の両観点で効果を評価します。

よくある質問（FAQ）

関連計算ツール