在机器学习领域，尤其是对于深层神经网络的领域，分布式（OOD）样本构成了重大挑战。这些实例与培训数据有所不同，并可能导致不可靠的预测。了解如何识别和管理OOD数据对于构建能够处理多样化和不可预见投入的强大AI系统至关重要。
什么是分布（OOD）？
分布（OOD）是指在训练阶段被机器学习模型学到的分布之外的数据实例。这些样本对于评估AI系统的性能和可靠性至关重要。当模型遇到OOD数据时，他们可能会难以做出准确的预测，从而突出其设计和培训中的漏洞。
OOD检测的重要性
检测OOD样品的能力至关重要，尤其是在敏感应用中。对这些实例进行不当分类会导致重大的现实后果，例如医疗保健中的误诊或自动驾驶汽车中的对象检测错误。因此，实施有效的OOD检测方法可以增强整体模型安全性和完整性。
概括在OOD中的作用
概括是模型学会将知识应用于新的，看不见的数据的过程。在OOD的背景下，有效的概括有助于AI系统在传入数据何时偏离预期分布，这表明需要进一步分析或替代响应。此功能对于数据可能差异很大的现实应用程序至关重要。
与OOD相关的挑战
尽管在机器学习方面取得了进步，但检测OOD样品仍然是一个挑战。神经网络通常在预测中表现出过度自信，尤其是在使用软马克斯分类器时。这种过度自信会导致错误分类，尤其是在关键领域，例如对象检测或欺诈检测，赌注很高。
模型信心
当神经网络与OOD实例呈现时，会出现误导的置信度。在某些情况下，模型可能会分配高概率来进行错误的预测，从而助长了错误的确定性，从而导致实践中的决策不良。
OOD检测技术
为了提高模型的可靠性和降低错误分类率，已经开发了各种OOD检测技术。使用这些方法的组合可以显着提高许多应用程序的性能。
合奏学习
集合学习方法汇总了多个模型的预测，通常会导致准确性增强和更可靠的预测。常见方法包括：
- 平均： 此方法计算预测的平均值，最佳回归任务或在分类中利用平均软可能概率。
- 加权平均： 在这里，模型根据其性能指标分配了不同的权重，从而促进了平衡的决策过程。
- 最大投票： 最终预测来自集体大部分模型，增强了决策可靠性。
二进制分类模型
部署二进制分类框架可以通过将问题构建为区分分布和OOD样本来帮助OOD检测。
- 模型培训： 在指定的数据集上训练模型可以通过观察正确或错误的预测来对实例进行分类。
- 校准挑战： 将一些OOD数据集成到培训过程中有助于使预测概率与实际结果保持一致，从而解决有关不确定性指标的校准问题。
MaxProb方法
MaxProb方法利用来自神经网络的输出，由SoftMax函数转换。这种方法通过关注最大软磁性概率来有助于识别OOD样品，从而允许基于置信度的直接检测机制。
温度缩放
温度缩放通过引入参数t，改变预测概率的分布来修改SoftMax输出。
- 对置信分数的影响： 通过选择较高的t值，模型置信度降低，使预测更接近真实概率。这种调整突出了不确定性，这是OOD检测的关键因素。
- 验证集优化： 参数t可以通过验证数据集通过负模拟样本进行微调，从而在不损害模型功效的情况下确保可靠性提高。
