id: calibration-curve
name:
  ja: 予測確率の校正曲線
  en: Probability Calibration Curve
purpose:
  ja: 予測確率を区間化し、各区間の平均予測確率と観測陽性率を完全一致の対角線に照らして信頼性を読む。
  en: Compare binned mean predicted probabilities with observed positive rates against the perfect-calibration diagonal.
status: published
still: ./still.png
category: analysis
catalogOrder: 850
jobs:
  - measure-change
  - prioritize-diagnose
useCases:
  - kpi
  - prioritization
layoutKinds:
  - matrix
tags:
  - calibration-curve
  - probability-reliability
  - model-evaluation
  - offline
  - responsive
whenToUse:
  - ja: 予測確率20%の集合で、実際にイベントが起きる割合も約20%か確認する。
    en: Use to check whether groups predicted at a given probability experience the event at a similar rate.
  - ja: 信頼度が低い確率帯を見つけ、確率補正や追加データ収集の候補を絞る。
    en: Use to find poorly calibrated probability ranges and focus recalibration or data collection.
avoidWhen:
  - ja: 閾値を動かしたときの偽陽性率・真陽性率や識別順位を見る場合はROC曲線を使う。
    en: Use an ROC curve to inspect threshold-dependent false-positive and true-positive rates or ranking discrimination.
  - ja: 同じ指標を持つ一般の観測対象同士の関係を見る場合は散布図を使う。校正は予測値と実現頻度の対応に限る。
    en: Use a scatter plot for general relationships; calibration is specifically about predicted probabilities versus realized frequencies.
requiredInputs:
  - ja: 陽性クラスと評価標本総数を示す。
    en: Define the positive class and total evaluation sample count.
  - ja: 0〜1を隙間・重複なく覆う4〜12区間を昇順で指定し、各区間の平均予測確率・観測陽性率・標本数を入力する。標本数合計は総数と一致させる。
    en: Supply four to twelve ordered contiguous bins covering zero to one, with mean predicted probability, observed positive rate, and sample count; counts must sum to the evaluation total.
relatedLayouts:
  - roc-curve
  - scatter-relationship
  - interval-estimates
dataSchema:
  title: string — 予測確率の信頼性について伝える見出し
  subtitle: string? — 評価データ・対象期間・分割条件
  positiveClass: string — 確率として予測した陽性イベント
  evaluationCount: integer — 全ビンの評価標本数
  bins: array (id, label, lowerBound, upperBound, predictedMean, observedRate, sampleCount) — 4〜12区間。確率値は0〜1、区間連続、予測平均は範囲内、標本数合計は総数と一致
sources: []