曲线下的PR AUC或Precision-Recall区域是一种强大的性能指标，主要用于二进制分类领域，尤其是在处理不平衡数据集时。随着机器学习模型越来越普遍，从欺诈检测到医学诊断的任务，了解如何评估其有效性变得至关重要。 PR AUC对模型区分阶级的能力的重点是，尤其是强调其在少数群体上的表现。对于希望评估和提高其模型的预测能力的任何人来说，这都是必不可少的工具。
什么是PR AUC？
PR AUC是一个指标，总结了在各个阈值设置下精确度和召回之间的权衡。精度是指在所有积极预测中真正积极预测的比例，而回忆（或敏感性）衡量了真实阳性与实际积极实例的比例。通过绘制针对不同阈值的召回精度，PR AUC对模型在二进制分类问题中的性能提供了全面的看法。
PR AUC的定义
要了解PR AUC，必须定义其组成部分：
- 精确： 这表明有多少预测的阳性案例是真正的阳性。高精度意味着更少的假阳性。
- 记起： 这衡量了模型从所有实际积极因素中识别真正的积极案例的能力。高回忆减少了假否定的数量。
这两个指标共同洞悉了模型的预测质量，使PR AUC在评估性能中很有价值，尤其是在具有类不平衡的数据集中。
PR AUC的目的
PR AUC可以评估存在类不平衡的模型性能。在许多实际情况下，例如欺诈检测或疾病鉴定，积极实例的数量可能明显低于负面情况。在这种情况下，准确性可能会产生误导。 PR AUC通过专门关注少数族裔，确保对模型正确识别罕见事件的能力进行评估。
PR AUC的计算
计算PR AUC涉及多个步骤，每个步骤都导致了代表精确核心权衡取舍的详细曲线。
计算PR AUC的步骤
计算过程始于生成Precision-Recall曲线，该曲线涉及：
- 按概率分数对预测进行分类： 组织模型的预测概率从最高到最低。
- 计算精度和回忆： 对于每个阈值，请测量精度并召回以创建曲线的数据点。
建立曲线后，下一步是计算曲线下的区域（AUC）。这通常是使用梯形规则来近似曲线以下的区域进行的。
应用梯形规则用于AUC计算
梯形规则是一种数值方法，可以通过将曲线分为梯形来估算曲线下的面积。通过计算Precision-Recall对之间形成的这些梯形的区域，可以得出代表PR AUC值的总面积。
PR AUC的好处
PR AUC提供了几种优势，尤其是在阶级失衡问题的情况下。
对阶级失衡的敏感性
PR AUC的主要好处之一是对阶级失衡的敏感性提高。与其他指标不同，它集中于预测少数族类别，从而对模型绩效进行细微的评估。
模型比较效率
PR AUC通过将性能评估合并为单个数字值来简化模型评估。这可以使不同模型或配置之间的比较更容易地进行比较，从而使其成为模型优化的实用选择。
PR AUC的局限性
尽管具有优势，但PR AUC还是在模型评估期间应考虑的某些局限性。
解释挑战
对于不熟悉精确和召回概念的利益相关者来说，解释PR AUC可能令人生畏。这可能会导致对模型有效性的误解，特别是对于那些不习惯统计指标的人。
依赖班级分布
PR AUC值可以根据数据集中的类的分布显着波动。这意味着在不同的培训或测试数据集中，模型的PR AUC可能不一致。
与整体准确性缺乏直接关系
PR AUC与整体模型的准确性不直接相关。因此，重要的是要合并其他评估指标，以获得所有类别的模型性能的完整图片，以确保不忽略任何关键见解。
与ROC AUC的比较
在评估模型性能时，PR AUC和ROC AUC均为广泛使用的指标，但它们传达了不同的信息。
ROC AUC的解释
ROC AUC代表曲线下的接收器操作特征区域，并说明了真正的正率（灵敏度）与跨不同阈值的假正率之间的权衡。当假阳性不那么关注时，这可能特别有用，但可能会掩盖少数群体的表现。
PR AUC对ROC AUC的优势
在重大阶级失衡的情况下，PR AUC可以提供比ROC AUC更好的见解。它强调了该模型在少数阶级的表现，这在识别阳性至关重要的情况下至关重要。
影响PR AUC和ROC AUC选择的因素
使用PR AUC或ROC AUC的决定取决于几个因素，包括与假阳性相关的成本以及确定正面实例的价值。在医疗保健和欺诈检测等关键应用中，了解这些细微差别可以指导要使用的指标。
PR AUC的实际应用
PR AUC的效用扩展到多个现实世界中的应用程序，在这些应用程序中，阶级失衡很普遍。
用于欺诈检测
在欺诈检测中，准确识别罕见但有影响力的事件至关重要。 PR AUC可以有效地评估旨在标记欺诈性交易的模型的性能，从而确保它们最大程度地减少误报和假否定性。
在罕见疾病鉴定中应用
在医疗保健分析中，尤其是关于罕见疾病的人，PR AUC至关重要。它允许从业者专注于积极的阶级，并衡量模型能够预测可能患有病情的患者的能力，从而影响早期诊断和治疗策略。
