機械学習の基礎

－－－－－－－－－－－－－－－－－－－－－－－－－

４．モデルの評価方法（１）

回帰と分類で評価指標が異なります。
ここでは分類における評価指標について述べます。

モデルの性能評価は検証データ（未知データ）に対して行います。
学習データに対して評価を実施した場合、一般的に検証データの場合より性能は高くなります。

しかし、これはあくまで学習したデータに対する評価であるため、高くなるのは当然でです。
予測に役立つかどうかという視点では、検証データに対して評価を実施しなければならなりません（汎化性能）。

モデルの評価基準は正解率（Accuracy）を採用する場合が多いです。

この指標は分かりやすく、全体のデータのうち、正しく予測できたデータの割合を求めます。
例えば、全体１００データのうち、７０データが正解の場合は７０％となります。

この正解率は分かりやすいですが、モデルが実用的であるかどうかを判断するためには、もう少し踏み込んだ評価をする必要があります。
それは、「混同行列(Confusion Matrix）」を用いた評価です。

この混同行列から求められる「適合率」「再現率」「f値」を性能評価指標として用います。
どれを採用するかは、実際にこのモデルを使用する業務を考慮する必要がある。

以下、混同行列の例で説明します。

　＜予測モデルによる新型コロナウイルスの感染判別（数値は人数）＞

　

【正解率】＝（９０＋１９０）／（９０＋１９０＋２００＋１０）＝５７％

【適合率】
　適合率とは、「予測したデータの中に正解データはどの程度含まれているか」です。

　陽性の適合率＝９０／（９０＋１０）＝９０％
　陰性の適合率＝１９０／（２００＋１９０）＝４９％

【再現率】
　再現率とは、「全ての正解データの中に予測した正解データはどの程度含まれているか」です。
　つまり、もれなく正解データを拾っているか、ということを意味します（カバー率）。

　陽性の再現率＝９０／（９０＋２００）＝３１％
　陰性の再現率＝１９０／（１０＋１９０）＝９５％

【f値：（２×適合率×再現率）／（適合率＋再現率）】
　f値とは、適合率と再現率の調和平均です。適合率も再現率も１００％の時にf値は１００％になります。

　陽性のf値＝（２×０．９×０．３１）／（０．９＋０．３１）＝０．４６
　陰性のf値＝（２×０．４９×０．９５）／（０．４９＋０．９５）＝０．６４


この予測モデルの性能は以下のように表現できます。

「陽性も陰性も含めた全体での性能は５７％であり高くはないが、陽性と予測された場合の性能は高い（９０％）。ただし、その場合、真の陽性者全体の３１％しかカバーできない。陰性と予測された場合の性能は低いが（４９％）その場合、真の陰性者全体の９５％をカバーできる」

この表現をもう少し簡略化すると、

「陽性と予測された場合、ほぼ陽性であると考えられる。陰性と予測された場合はどちらとも判断できないため、別の方法で確定する必要がある。」となります。

この予測モデルは全体の正解率が低く、一見実用化が難しいように見えますが、陽性判定だけで使用することは可能です。

このように予測モデルの性能評価を実施する場合は、正解率だけでなく、混合行列もよく検討して実務にあった評価指標を採用することが大切です。