CALIBRATION CURVE / PREDICTED VS OBSERVED

重大障害リスクの予測確率が実際の発生率に近い

架空サンプル｜時系列分割した評価用データ

重大障害リスクの予測確率が実際の発生率に近い翌日以内に重大化する障害の予測確率と観測率の関係。対角線は完全一致。標本数で重み付けした絶対確率誤差ECEは 0.031、評価標本数は1300件。CALIBRATION / 翌日以内に重大化する障害0%25%25%50%50%75%75%100%100%1234567平均予測確率観測陽性率読む対象確率ビン（大きさは標本数）完全一致実測の校正傾向評価指標ECE（標本数重み付き）0.031評価標本 1,300件読み方点が対角線に近いほど、予測確率と実際の陽性頻度が揃う。点の大きさはビン内の評価数。校正の一致は分類の識別力や閾値の妥当性を示すものではない。
ECE｜標本数重み付き絶対誤差
0.031
評価対象の陽性クラス
翌日以内に重大化する障害
評価標本数
1,300件

ECEはビン集約に依存する校正誤差です。校正結果だけから識別性能・閾値・個別予測の妥当性を結論しないでください。

各確率ビンと予測・観測値を確認（7区間）
番号 / 確率区間平均予測観測陽性率標本数校正差（観測−予測）
1 / 0〜10%（0%–10%）4%3%120-1.0pp
2 / 10〜25%（10%–25%）17%13%180-4.0pp
3 / 25〜40%（25%–40%）32%29%210-3.0pp
4 / 40〜55%（40%–55%）48%44%240-4.0pp
5 / 55〜70%（55%–70%）63%61%220-2.0pp
6 / 70〜85%（70%–85%）77%75%180-2.0pp
7 / 85〜100%（85%–100%）93%88%150-5.0pp