ROC CURVE / THRESHOLD SELECTION

障害検知の感度と誤検知のバランスを確認する

架空サンプル|本番投入前の分類器評価データ

障害検知の感度と誤検知のバランスを確認する陽性クラス 翌日以内に重大化する障害 のROC曲線。選択閾値 0.60 の偽陽性率は 20%、真陽性率は 78%、曲線下面積は 0.84。ROC / 翌日以内に重大化する障害0%25%25%50%50%75%75%100%100%偽陽性率|誤って陽性とする割合真陽性率|陽性を正しく検出する割合この分類器左上へ近いほど識別性能が高い無作為判定の基準閾値を動かした性能選択した運用候補選択点|チーム検討案閾値 0.60偽陽性率 20%真陽性率 78%読み方曲線下面積 AUC 0.84|閾値の選択は偽陽性コストと見逃しコストを合わせて判断するROCは全閾値の識別性能を比較する図で、単独では運用閾値を決めない
ROC曲線下面積
0.84 / 1.00
選択閾値
0.60
選択点の真陽性率 / 偽陽性率
78% / 20%

ROC曲線は閾値ごとの識別性能を比較します。実運用の閾値は、誤検知と見逃しの業務コストを合わせて決めてください。

全閾値点と率の対応を確認(8点)
候補閾値偽陽性率真陽性率
最も厳格1.000%0%
重大度優先0.921%16%
高精度寄り0.843%31%
少数レビュー0.767%48%
現行候補A0.6812%64%
チーム検討案(選択)0.6020%78%
感度優先0.4534%87%
最も広く検知0.00100%100%