精度・再現率・F1
混同行列の4つの値から、正解率・適合率・再現率・F1スコアをまとめて計算します。
精度・再現率・F1ツール
計算式と考え方
混同行列の4区分から各指標を求めます。正解率は「(TP+TN)÷全体」で全体としてどれだけ当たったか、適合率は「TP÷(TP+FP)」で陽性と予測したもののうち実際に陽性だった割合、再現率は「TP÷(TP+FN)」で実際の陽性のうち拾えた割合です。F1スコアは適合率と再現率の調和平均で「2PR÷(P+R)」と表され、両者のバランスを1つの数値で示します。TP=80、FP=20、FN=10、TN=890の場合、正解率97%、適合率80%、再現率88.9%、F1は0.84となります。正解率97%という数字だけを見ると優秀に見えますが、陽性が全体の9%しかないため、すべて陰性と予測するだけで正解率91%に達します。この乖離が不均衡データの落とし穴です。
指標の使い分け
| 適合率を重視 | 誤検知のコストが高い場面。スパム判定で正常メールを弾くと実害が大きい |
|---|---|
| 再現率を重視 | 見逃しのコストが高い場面。疾病スクリーニングや不正検知では見逃しが致命的 |
| F1スコア | 両者のバランスを取りたい場合。不均衡データでの標準的な評価指標 |
| 正解率のみ | 陽性と陰性が同程度に存在する場合に限り有効。不均衡データでは誤解を招く |
精度・再現率・F1の詳しい解説
分類モデルの評価では、正解率だけを見ると判断を誤ります。陽性が全体の1%しかないデータでは、何も検出せず全件を陰性と予測するだけで正解率99%を達成できるためです。このため実務では適合率と再現率を併せて確認します。適合率は「陽性と言い切ったものがどれだけ正しかったか」、再現率は「本当の陽性をどれだけ拾えたか」を示し、この2つはトレードオフの関係にあります。判定の閾値を下げれば再現率は上がりますが適合率は下がり、閾値を上げれば逆になります。重要なのは、この綱引きを決めるのがモデルの性能ではなく閾値の置き方だという点で、同じモデルでも運用の目的に応じて別の動作点を選べます。どちらを優先するかは、誤検知と見逃しのどちらのコストが高いかという業務判断で決まります。スパム判定のように正常なものを弾く実害が大きい場面では適合率、疾病スクリーニングや不正検知のように見逃しが致命的な場面では再現率が優先されます。この合意を技術側と事業側で先に取っておかないと、モデルの良し悪しの議論が噛み合いません。F1スコアは両者の調和平均で、片方だけが極端に高くても値が上がらない性質があるため、バランスの取れたモデルを選ぶ指標として広く使われます。より詳細に評価する場合は、閾値を変化させながら性能を追うPR曲線やROC曲線を用い、その下の面積(PR-AUC、ROC-AUC)で比較します。不均衡データではROC-AUCよりPR-AUCのほうが実態を反映しやすいとされます。なお、いずれの指標も学習に使っていない検証データで測らなければ過学習を見抜けず、絶対値の高低はタスクの難易度に左右されるため、同じデータでの比較にこそ意味があります。難易度の高い問題ではF1が0.7でも実用に足りる一方、単純な分類では0.95以上が期待されるというように、目標値は課題ごとに決まります。数値の落とし穴は不均衡データで顕著になります。陽性が全体の9%しかないデータでは、すべて陰性と予測するだけで正解率が91%に達するため、正解率97%という結果が出ても、それが実質的な改善なのかは適合率と再現率を見なければ判断できません。正解率が意味を持つのは、陽性と陰性が同程度に存在する場合に限られます。関連する指標として特異度があり、これは陰性を正しく陰性と判定できた割合で、医療検査の評価では感度(再現率)と対にして使われます。どの指標を目標値に据えるかは技術側だけで決められる問題ではなく、誤検知と見逃しがそれぞれ現場でどれだけのコストを生むかを事業側と突き合わせて合意する必要があります。
業界・現場での使い方
AI開発
モデルの比較で、正解率だけでなく適合率と再現率の両面から性能を評価します。
データ分析
不均衡データの分析で、指標の選択を誤らないよう混同行列から直接検証します。
事業側
誤検知と見逃しのコストを踏まえ、どの指標を目標値に据えるかを技術側と合意します。
よくある間違い・注意点
- 正解率だけで判断する — 陽性が1%のデータでは全件陰性と予測して99%になります。不均衡データでは無意味な指標です。
- 適合率と再現率を同時に上げようとする — 閾値を通じてトレードオフの関係にあります。どちらを優先するかを業務要件から決めてください。
- 学習データで評価する — 過学習を検出できません。必ず学習に使っていない検証データで評価してください。
関連する規格・法規
- ML業界標準
- 各種論文
※本ツールは公的基準に基づく参考計算です。実際の設計・施工・法令適用は最新の告示・規格および所轄官庁の判断に従ってください。
よくある質問(FAQ)
F1スコアはいくつあれば良いですか?
タスクによります。難易度の高い問題では0.7でも実用的で、単純な分類では0.95以上が期待されます。同じデータでの比較にこそ意味があります。
PR-AUCとROC-AUCの違いは?
不均衡データではPR-AUCのほうが実態を反映します。ROC-AUCは陰性が大量にあると楽観的な値になりやすい性質があります。
特異度はいつ使いますか?
陰性を正しく陰性と判定できた割合で、医療検査の評価で感度(再現率)と対にして使われます。