ROC曲線・AUC 計算ツール｜二値分類モデルの性能を台形近似で評価

ROC曲線とAUCの定義

ROC曲線

ROC曲線(Receiver Operating Characteristic curve)は、二値分類器の識別閾値を変化させたとき、真陽性率TPR(縦軸)と偽陽性率FPR(横軸)がどう変化するかをプロットした曲線です。閾値を1.0から0.0へ動かすと、原点(0,0)から始まり右上(1,1)へ至る単調な曲線を描きます。

TPR (感度・再現率) = TP / (TP + FN)

FPR (1 − 特異度) = FP / (FP + TN)

AUC(Area Under Curve)

AUC = ROC曲線下の面積で、0〜1の値を取ります。1.0=完璧、0.5=ランダム、0.5未満は反転すれば改善余地あり。閾値に依存しない総合評価指標として広く使われます。

AUC = ∫₀¹ TPR(FPR) d(FPR)

台形近似: AUC ≈ Σᵢ (FPRᵢ₊₁ − FPRᵢ) × (TPRᵢ + TPRᵢ₊₁) / 2

本ツールは3点のFPR/TPR + 原点(0,0) + 終点(1,1)の計5点で台形近似します。scikit-learn等の実装では全サンプルの予測確率から数百〜数千点で近似するため、より滑らかな曲線が得られます。

確率的解釈

AUCは統計的に「ランダムに選んだ陽性サンプルの予測スコアが、ランダムに選んだ陰性サンプルの予測スコアより高い確率」と解釈できます(Mann-Whitney U統計量と同値)。AUC=0.85なら陽性>陰性のペアが85%を占める、という直感的意味を持ちます。

AUC値の解釈基準

分野・用途によって「実用ライン」が異なります。医療診断は高AUCが要求され、マーケティング施策では0.6でも実用的な例があります。

ただしAUCが高くても①クラス不均衡時の見かけ上の高値、②現実の意思決定閾値でのTPR/FPRの実効性、③データリーク・オーバーフィットには注意が必要です。

混同行列とTPR/FPR

二値分類器の予測結果は混同行列(Confusion Matrix)で表現できます。ROC曲線・AUCは、閾値を変えながらこの混同行列の構成要素を追跡した結果です。

ここから派生する指標:

• 感度(Sensitivity・TPR・Recall) = TP / (TP + FN) ― 陽性のうち正しく陽性と予測できた割合
• 特異度(Specificity) = TN / (TN + FP) ― 陰性のうち正しく陰性と予測できた割合
• FPR = 1 − 特異度 = FP / (FP + TN) ― 陰性を誤って陽性と予測した割合
• 適合率(Precision) = TP / (TP + FP) ― 陽性予測のうち実際に陽性だった割合
• F1スコア = 2 × Precision × Recall / (Precision + Recall)
• 正解率(Accuracy) = (TP + TN) / 全件

AUCは閾値に依存しないため、モデル間の比較や最終的な閾値選定前の総合評価に適しています。閾値が確定した後の実運用評価はPrecision・Recall・F1で行うのが定石です。

ROC曲線 vs PR曲線

類似指標にPR曲線(Precision-Recall Curve)があります。使い分けが重要です。

クラス不均衡が強い場合(陽性1%等)はPR曲線を主指標にすべきです。ROC-AUCだと陰性が圧倒的多数のためFPRが極端に小さくなり、モデルが偶然的中でも0.9以上の高値が出てしまうためです。

閾値選定の実務

AUCは閾値に依存しませんが、実運用ではどこか1つの閾値を決めて予測ラベルを確定させる必要があります。以下の方法が代表的です。

実際の計算例

ROC曲線の主要3点から台形近似でAUCを求める具体例を示します。

台形近似の各面積:

• a1 = 0.10 × 0.50 / 2 = 0.025
• a2 = (0.30-0.10) × (0.50+0.80) / 2 = 0.130
• a3 = (0.60-0.30) × (0.80+0.95) / 2 = 0.2625
• a4 = (1.00-0.60) × (0.95+1.00) / 2 = 0.390
• AUC = 0.025 + 0.130 + 0.2625 + 0.390 = 0.8075 → 良好(0.8-0.9)

実運用のscikit-learn実装では数百〜数千点の閾値で近似するため、より滑らかで正確なAUC値が得られます。

業界・現場での使い方

主要な実装ライブラリと使い方

実運用でROC/AUCを計算する主要ライブラリを整理します。

Pythonでの典型コード例:

from sklearn.metrics import roc_auc_score, roc_curve
auc = roc_auc_score(y_true, y_score)
fpr, tpr, thresholds = roc_curve(y_true, y_score)

マルチクラス(3クラス以上)はroc_auc_score(y_true, y_score, multi_class='ovr')でone-vs-rest計算、または'ovo'でone-vs-one計算が可能です。

よくある間違い・注意点

• クラス不均衡時のROC-AUC過信 — 陽性1%のタスクでROC-AUC 0.95でも、Precisionが5%程度のケースあり。不均衡データではPR-AUCを主指標にすべきで、両方併記が推奨されます。
• 訓練データでのAUC評価 — 訓練データで評価すると過学習を見抜けない。ホールドアウト検証・K分割交差検証で汎化性能のAUCを評価する。時系列データはTimeSeriesSplitを使用。
• 閾値0.5を無条件に使う — 出力確率の閾値0.5はクラス均衡でキャリブレーション済みの前提。不均衡データや温度パラメータ未調整なら別の閾値が最適。ROC曲線から選定します。
• データリーク — 特徴量エンジニアリング段階でテストデータの情報が漏れると、AUCが不自然に高くなる。時系列で未来情報が混ざる、患者IDでの重複、targetから派生した特徴が典型パターン。
• ラベル定義の曖昧さ — 「陽性」の定義が診断基準変更・時期によって揺れると、AUCが不安定に。ラベル定義書・アノテーション基準の固定が必須。
• ビジネス指標との乖離 — AUCが上がってもコンバージョン・売上・診断精度が上がらないケースは頻繁。AUC + ビジネスKPI + A/Bテストの三段階評価が推奨されます。
• 信頼区間の未報告 — サンプル数が少ないとAUCの信頼区間が広い(±0.1超もあり得る)。ブートストラップ法での95%信頼区間を必ず併記。特に医療AIの薬事申請では必須。

関連する統計基準・実装

• scikit-learn: sklearn.metrics.roc_auc_score ― Python標準の機械学習ライブラリの実装。all-vs-all/one-vs-restのマルチクラス対応も。
• scikit-learn: sklearn.metrics.roc_curve ― ROC曲線のFPR・TPR・thresholds配列を返す関数。可視化・閾値選定に使用。
• R言語: pROC package ― 医療統計・生物統計で標準。DeLong検定によるAUCの差の検定を実装。
• DeLong検定 ― 2つの分類器のAUCが統計的に有意差があるかを検定する手法。医療AI比較で必須。
• ISO/IEC TR 24028 ― 人工知能の信頼性に関する国際規格。AI性能評価の枠組みを規定。
• STARD 2015 ― 医療診断研究の報告ガイドライン。AUCと信頼区間の報告様式を規定。
• TRIPOD声明 ― 予測モデル研究の報告基準。AUC・キャリブレーション・臨床応用可能性の記載を要求。
• FDA/PMDA AIガイダンス ― 医療AI承認申請時の性能評価要件。AUCと信頼区間、対象集団の代表性を要求。

参考文献・公的資料

ROC曲線・AUCの詳細理論、実装、規制動向は以下の資料が参考になります。

• scikit-learn 公式ドキュメント roc_auc_score ― Pythonでの実装リファレンス。多クラス対応・サンプル重み付けの説明。
• PMDA 医療機器プログラム(SaMD) ― 医療AIの薬事承認における性能評価要件。AUC・信頼区間・対象集団の記載基準。
• FDA AI/ML-based SaMD ― 米国FDAのAI医療機器承認ガイドライン。性能評価とライフサイクル管理。
• ISO/IEC TR 24028 AIの信頼性 ― AI性能評価の国際規格。
• STARD 2015 診断研究報告ガイドライン ― 医療診断研究のAUC報告様式。
• TRIPOD声明 ― 予測モデル研究の報告基準。
• 金融庁 モデル・リスク管理に関する原則 ― 信用スコアモデル等の性能モニタリング要件。
• 経済産業省 AI原則実践のためのガバナンス・ガイドライン ― AIモデルの性能評価・公平性の実践指針。
• 東京大学 機械学習研究資料 ― 分類器評価の学術文献。

よくある質問（FAQ）

関連計算ツール