機械学習の評価指標：迷ったらこれ早見表入門

機械学習のモデルを作り始めると、多くの人が最初に迷うのが「結局どの評価指標を見ればよいのか」という点です。分類ならAccuracy、Precision、Recall、F1、ROC-AUC、回帰ならRMSE、MAE、R²など、候補が多いうえに、データの偏りや業務上の損失まで考え始めると判断が難しくなります。しかも、指標を一つだけ見て良し悪しを決めると、現場では期待外れのモデルになることも少なくありません。そこで本記事では、評価指標の基本的な意味を押さえながら、分類問題・回帰問題・不均衡データのそれぞれで何を基準に見ればよいのかを整理します。最後には、迷ったときに使いやすい選定フローチャートの考え方までまとめるので、実務での判断基準づくりにも役立ちます。

第1章：評価指標が重要な理由

評価指標が重要なのは、モデルの「よさ」を数値で定義する役割を持つからです。機械学習では、学習アルゴリズムや特徴量に注目しがちですが、最終的にそのモデルが現場で使えるかどうかは、どの指標で評価したかによって大きく見え方が変わります。たとえば、100件中95件を正しく当てたモデルは一見優秀に見えます。しかし、その5件がすべて重大な異常検知の見逃しだった場合、現場では高評価になりません。つまり、評価指標は単なる成績表ではなく、業務上どの失敗を重く見るかを反映する物差しです。

さらに、同じモデルでも指標によって印象が変わることがあります。Accuracyが高くてもRecallが低いこともあれば、RMSEが小さくても一部の大きな外れ値で現場の不満が強いこともあります。つまり、評価指標を正しく選ばないと、開発者だけが満足し、利用者は使いづらいというずれが起こりやすくなります。とくに、医療の陽性判定、金融の不正検知、ECの商品需要予測のように、誤りのコストが非対称な場面では、このずれが大きな問題になります。

また、評価指標はモデル比較の基準にもなります。複数のアルゴリズムや特徴量設計を試したとき、共通の物差しがなければ改善したのか判断できません。加えて、チーム開発では「なぜこのモデルを採用したのか」を説明する必要があります。そのとき、指標の意味を理解しないまま数値だけ並べても説得力は出ません。だからこそ、評価指標は学習の最後に見る飾りではなく、プロジェクトの目的を数字に翻訳する中心的な設計要素として考えるべきです。

第2章：分類問題で使う主要指標の見方

分類問題では、まずAccuracy、Precision、Recall、F1スコアの違いを押さえることが大切です。Accuracyは全体の正答率なので直感的ですが、データの偏りに弱いという欠点があります。たとえば、1000件中950件が「正常」、50件が「異常」というデータでは、全部を正常と予測してもAccuracyは95%になります。これでは異常検知モデルとして意味がありません。そのため、特定クラスをどれだけ正しく拾えたかを見るRecall、陽性と予測したもののうち本当に陽性だった割合を見るPrecisionが重要になります。

Recallは「見逃しを減らしたい」場面で重視されます。たとえば不正取引検知、病気のスクリーニング、重大障害のアラート検知では、真の陽性を取りこぼすことの損失が大きいためです。一方で、Precisionは「誤検知を減らしたい」場面で重視されます。たとえばスパム判定で通常メールまで弾いてしまう、営業リード判定で低確度の見込み客ばかりを営業へ渡してしまう、といった状況ではPrecisionの低さが問題になります。F1スコアはPrecisionとRecallのバランスを見る指標なので、どちらか一方に偏りすぎたモデルを避けたいときに便利です。

さらに、しきい値を動かしたときの性能全体を見たいならROC-AUCやPR-AUCも有効です。ROC-AUCは分類しきい値に依存しない比較がしやすい反面、極端な不均衡データでは実感とずれることがあります。そのため、陽性が少ない問題ではPR-AUCのほうが現場感に合うこともあります。実務では、まずAccuracyだけで判断せず、次にPrecisionとRecallのどちらを優先するかを決め、必要に応じてF1やAUCで補う流れがわかりやすいでしょう。

第3章：回帰問題で使う指標の使い分け

回帰問題では、正解ラベルがカテゴリではなく連続値になるため、分類問題とは違った見方が必要です。代表的なのはMAE、MSE、RMSE、R²です。MAEは予測値と実測値の差の絶対値の平均で、誤差をそのままの単位で解釈しやすいのが利点です。たとえば売上予測でMAEが5万円なら、「平均して5万円程度ずれる」と理解しやすく、現場説明にも向いています。一方で、MSEやRMSEは誤差を二乗して扱うため、大きな外れ値をより強く罰する性質があります。

そのため、RMSEは大きな予測ミスを避けたい場面でよく使われます。たとえば在庫予測や需要予測で、大外れによる欠品や過剰在庫の影響が大きいなら、RMSEを重視する意味があります。一方で、日々の細かなずれを平均的に把握したいならMAEのほうが感覚に合うこともあります。つまり、RMSEが高いから悪い、MAEが低いから良いと単純に見るのではなく、どの種類の誤差を重く見たいのかで選び分けることが重要です。

R²は「どの程度うまく説明できているか」を示す指標として使われますが、現場では少し誤解されやすい面があります。値が1に近いほど当てはまりがよいとされますが、R²が高いからといって、業務上十分な予測精度とは限りません。逆に、R²がそこまで高くなくても、予測誤差が実務許容範囲なら十分役立つ場合もあります。たとえば価格予測や工数予測では、説明力よりも「実際にどれくらい外れるのか」のほうが重要です。したがって、回帰ではR²だけで満足せず、MAEやRMSEとセットで見る習慣を持つと判断を誤りにくくなります。

第4章：不均衡データで指標を誤読しないコツ

実務で特に注意したいのが、不均衡データに対する指標の誤読です。不均衡データとは、正常と異常、解約と継続、購入と非購入のように、片方の件数が極端に少ないデータを指します。このような場面では、Accuracyだけを見るとモデルが優秀に見えやすくなります。たとえば、解約率が5%のサービスで全員を継続と予測すればAccuracyは95%ですが、解約予測モデルとしては役に立ちません。ここで重要なのは、少数クラスをどれだけ拾えているかを個別に見ることです。

そのため、不均衡データではRecall、Precision、F1スコア、PR-AUCを優先して見るケースが増えます。とくに「陽性を見逃したくない」のか、「誤って陽性扱いしたくない」のかを先に決めることが重要です。たとえば不正取引検知では見逃しの影響が大きいためRecall重視になりやすく、広告配信の見込み顧客抽出では無駄打ちを抑えたいのでPrecision重視になりやすいでしょう。つまり、不均衡データでは全体正解率ではなく、少数クラスの扱いを中心に評価すべきです。

さらに、しきい値調整も重要な論点です。モデルは確率を返していても、最終的にどこで陽性と判定するかによってPrecisionとRecallのバランスが変わります。そこで、単にモデルを比較するだけでなく、しきい値を変えたときに現場の運用がどう変わるかも確認するべきです。たとえばアラート件数が急増しすぎると運用担当が処理しきれないため、Recallだけ高くても使えないことがあります。したがって、不均衡データでは指標の意味だけでなく、運用可能な件数やレビュー工数まで踏まえて判断することが大切です。

第5章：迷ったときの選定フローチャート

ここまでの内容を踏まえると、評価指標の選び方はある程度パターン化できます。まず、予測対象がカテゴリなら分類、数値なら回帰です。分類問題なら、次にクラスの偏りが大きいかどうかを見ます。偏りが小さいならAccuracyを入り口にしてもよいですが、それでもPrecisionやRecallを補助的に確認すると安心です。一方で、偏りが大きいならAccuracyを主指標にせず、少数クラスをどう扱うかを中心に評価します。そして、「見逃しが痛い」のか「誤検知が痛い」のかでRecall重視かPrecision重視かを決め、両方見たいならF1やPR-AUCを使います。

回帰問題なら、次は誤差の扱いを考えます。現場で平均的にどれくらいずれるかを説明したいならMAE、大きな外れ値を強く避けたいならRMSEが有力です。加えて、モデル全体の当てはまりを見たいならR²を補助指標として併用します。ただし、R²だけを主役にしないことが大切です。実務では、「平均でどれくらい外れるか」「大外れはどれくらいあるか」のほうが意思決定に直結しやすいためです。

つまり、迷ったときはまず問題設定を分け、その次に業務上どの失敗が重いかを決める。この順番で考えると、指標選びはかなり整理しやすくなります。最終的には、一つの指標だけで結論を出すより、主指標と補助指標を組み合わせて解釈するほうが安全です。たとえば分類なら「Recallを主指標、PrecisionとF1を補助指標」、回帰なら「MAEを主指標、RMSEとR²を補助指標」といった設計にすると、現場と開発の両方で納得しやすくなります。

評価指標は、数式を暗記することよりも「どの失敗を重く見るか」を明確にするために使うものです。分類ではAccuracyだけで安心せず、Precision・Recall・F1の意味を押さえることが第一歩です。回帰ではMAEとRMSEの違いを理解し、R²を補助的に扱うと判断しやすくなります。さらに、不均衡データでは少数クラスの扱いとしきい値調整を意識するだけで、指標の読み違いはかなり減らせます。迷ったときは、問題の種類、データの偏り、業務上の損失の大きさの順に整理し、主指標と補助指標を組み合わせて選ぶことをおすすめします。