5.5 混淆矩阵深度解析
混淆矩阵是所有分类指标的源头。理解它,你就能自己推导出任何分类指标。
5.5.1 混淆矩阵的四个象限
预测为正 预测为负
实际为正 TP FN
实际为负 FP TN
TP(True Positive,真正例):模型说”是”,实际也是”是”。病人有病,AI 说有病——正确诊断。
FP(False Positive,假正例):模型说”是”,实际是”否”。病人没病,AI 说有病——误报(Type I Error,第一类错误)。统计学术语:假阳性。通俗说法:虚惊一场。
TN(True Negative,真负例):模型说”否”,实际也是”否”。病人没病,AI 说没病——正确排除。
FN(False Negative,假负例):模型说”否”,实际是”是”。病人有病,AI 说没病——漏报(Type II Error,第二类错误)。统计学术语:假阴性。通俗说法:漏网之鱼。
5.5.2 从混淆矩阵推导所有指标
所有分类指标都可以从这四个数字推导出来:
基础比率:
- 真阳性率(TPR / Recall / 灵敏度)= TP / (TP + FN) —— 实际正例中被正确识别的比例
- 真阴性率(TNR / 特异度)= TN / (TN + FP) —— 实际负例中被正确排除的比例
- 假阳性率(FPR)= FP / (FP + TN) = 1 - TNR —— 实际负例中被误报的比例
- 假阴性率(FNR)= FN / (TP + FN) = 1 - TPR —— 实际正例中被漏报的比例
精确率:Precision = TP / (TP + FP) —— 预测为正的样本中,真正为正的比例
准确率:Accuracy = (TP + TN) / (TP + TN + FP + FN) —— 预测正确的样本占总样本的比例
F1 分数:F1 = 2TP / (2TP + FP + FN) —— 精确率和召回率的调和平均
Matthews 相关系数(MCC):(TP×TN - FP×FN) / sqrt((TP+FP)(TP+FN)(TN+FP)(TN+FN))
- MCC 是所有四个象限的综合指标,即使在类别不平衡时也能给出可靠评估
- MCC = 1 完美预测,MCC = 0 随机猜测,MCC = -1 完全相反
- 当你不确定该用精确率、召回率还是 F1 时,MCC 是一个安全的默认选择
5.5.3 不平衡数据下的指标选择
当正负样本比例严重失衡时(如正例 1%,负例 99%),不同的指标会给出截然不同的结论:
准确率:99% 准确率看起来很好,但可能只是”全说没病”的结果。不平衡数据下,准确率基本无用。
精确率:如果模型只预测了 1 个正例,且恰好正确,精确率 = 100%。但这个 100% 是建立在”漏掉了其他所有正例”的基础上的。精确率单独看不充分。
召回率:如果模型把所有样本都预测为正,召回率 = 100%,但精确率只有 1%。召回率单独看也不充分。
F1:平衡了精确率和召回率,但在极度不平衡时,F1 可能对精确率的变化更敏感。
PR-AUC:精确率-召回率曲线下的面积,在不平衡数据下比 ROC-AUC 更有区分度。因为 PR 曲线关注的是正例,而 ROC 曲线同时关注正例和负例。
实际建议:
- 正例比例 > 30%:accuracy、F1、ROC-AUC 都可以
- 正例比例 5%-30%:F1、ROC-AUC、PR-AUC
- 正例比例 < 5%:PR-AUC、F1(但要看 P 和 R 分别的值)
- 正例比例 < 1%:PR-AUC,同时报告精确率和召回率的具体数值,不要只看 F1
5.5.4 医疗诊断中的成本敏感评估
在医疗诊断中,不同的错误有不同的代价:
- 假阴性(FN,漏诊):告诉一个癌症患者”你没病”。代价:延误治疗,可能致命。代价极高。
- 假阳性(FP,误诊):告诉一个健康人”你可能有癌症”。代价:精神压力、不必要的检查、医疗资源浪费。代价中等。
成本敏感评估:给不同的错误类型赋予不同的权重。
Cost = C_FN × FN + C_FP × FP
其中 C_FN 是漏诊的代价(如 100),C_FP 是误诊的代价(如 1)。实际上,医疗决策中漏诊的代价通常是误诊的 10-100 倍。
这个框架不仅适用于医疗:
- 金融欺诈检测:漏掉欺诈(FN)的代价远高于误报欺诈(FP)
- 安全威胁检测:漏掉威胁(FN)的代价极高
- 垃圾邮件检测:误报(FP,把正常邮件丢进垃圾箱)的代价高于漏掉(FN,收件箱里多几封垃圾邮件)
2026 年的实践:在 AI 医疗系统中,通常设置非常低的分类阈值——宁可多报,不能漏报。AI 做初筛,医生做确认。AI 的召回率要求接近 100%,精确率可以低一些,因为医生会复核。
← 上一节:5.4 评估指标的完整体系 | 下一节:5.6 交叉验证完全指南 →
关联5
知识图谱局部图谱 · 点节点跳转