ROC AUC分類器

計算式と考え方

陽性300件に対し感度80%なら真陽性は240件、見逃しは60件です。陰性2,700件に偽陽性率15%を掛けると誤検知は405件になります。適合率は240÷（240＋405）で約37.21%です。F1スコアは適合率0.3721と再現率0.80の調和平均で約0.508となります。損失は見逃し60件×30,000円と誤検知405件×1,500円を足して2,407,500円です。解約予測の目安AUCを0.75とすると、AUC0.87との差は12.0ポイントになります。

AUCの水準と解釈

ROC AUC分類器の詳しい解説

AUCはROC曲線の下側の面積で、無作為に選んだ陽性の事例が陰性の事例より高いスコアを与えられる確率と一致します。閾値を決めずにモデルの順位付け能力そのものを評価できるため、モデル同士の比較には便利な指標です。しかし業務で使う際には、この指標だけを見ると判断を誤る場面があります。最大の落とし穴が不均衡データです。陽性が全体の1割、あるいは1%しかない場合、偽陽性率が小さく見えても、陰性の母数が大きいため誤検知の絶対数は膨らみます。陽性300件に対して陰性2,700件という構成で、感度80%・偽陽性率15%という一見良好な設定でも、誤検知は405件となり、陽性と判定したうちの正解は4割を切ります。AUCが0.87という高い値でも、現場では6割以上が空振りになるという状況が起こり得ます。こうした場合はPR曲線とその下側面積を併用します。PR-AUCは陰性の母数の影響を受けにくく、陽性が希少な課題での実用的な性能を反映します。閾値の設定も業務側の判断です。感度を上げれば見逃しは減りますが誤検知が増え、逆も同じです。どちらを重視するかは、誤りの種類ごとのコストで決まります。不正検知では見逃しの1件が大きな損失につながる一方、誤検知は確認作業の手間で済むため、感度を優先する設定になります。逆に、誤検知が顧客への不快な接触につながる場面では、適合率を優先します。見逃しコストと誤検知コストを金額で置いて、合計損失が最小になる閾値を探す方法が、最も説明しやすい決め方です。AUCが高すぎる場合には、別の疑いを持つ必要があります。0.95を超えるような値が出たとき、予測時点では入手できない情報が特徴量に混入している可能性があります。解約予測で解約手続きの記録を、与信で貸倒れ後の回収記録を含めてしまうといった誤りは、実務でしばしば起こります。学習データの各特徴量について、予測を行う時点で本当に取得できるかを確認する作業が欠かせません。評価の方法にも注意が必要です。時系列のデータを無作為に分割すると、未来の情報で過去を予測する形になり、性能が過大に出ます。時点で区切って学習と検証を分ける方法を取るべきです。また、AUCは全体の順位付け能力を表すため、実際に使う上位数パーセントの範囲での精度を知りたい場合は、上位k件での適合率を別途確認するほうが実態に合います。指標は目的に合わせて選ぶものであり、単一の数値で優劣を決めない姿勢が求められます。

業界・現場での使い方

よくある間違い・注意点

• AUCだけでモデルを採用する — 不均衡データでは高いAUCでも適合率が低くなります。PR-AUCや上位k件の精度も確認してください。
• 閾値を一律0.5にする — 最適な閾値は誤りのコストで決まります。見逃しと誤検知の金額を置いて比べてください。
• 時系列データを無作為に分割する — 未来の情報で過去を予測する形になり性能が過大に出ます。時点で区切って検証してください。

関連する規格・法規

• 日本統計学会
• ASA声明

※本ツールは公的基準に基づく参考計算です。実際の設計・施工・法令適用は最新の告示・規格および所轄官庁の判断に従ってください。

よくある質問（FAQ）

関連計算ツール