索尼 AI 发布了公平以人为中心的图像基准 (FHIBE)，这是第一个公开可用的、全球多样化的、基于同意的人类图像数据集，旨在评估计算机视觉任务中的偏差。该工具评估人工智能模型如何对待不同人群的人，通过来自不同参与者的同意图像收集来解决人工智能行业的道德挑战。该数据集的发音类似于“Phoebe”，包含来自 80 多个国家的近 2000 名付费参与者的图像。每个人都明确同意分享自己的肖像，这将 FHIBE 与未经许可抓取大量网络数据的常见做法区分开来。参与者保留随时删除其图像的权利，以确保对其个人数据的持续控制。这种方法强调了索尼人工智能对数据采集道德标准的承诺。数据集中的每张照片都有详细的注释。这些涵盖人口和身体特征，例如年龄、性别代词、血统和肤色。还注意到环境因素，包括照明条件和背景。相机设置（例如焦距和曝光）为模型评估提供了额外的背景信息。这种全面的标签可以精确分析外部变量如何影响人工智能性能。 FHIBE 的测试证实了先前记录的现有人工智能模型中存在的偏差。该基准进一步提供了影响因素的精细诊断。例如，模型对于使用“她/她/她的”代词的个人表现出较低的准确性。 FHIBE 认为更大的发型变化是这种差异背后的一个关键、以前被忽视的因素，使研究人员能够确定模型训练中需要改进的特定领域。在评估有关受试者职业的中性问题时，人工智能模型强化了刻板印象。该基准揭示了针对特定代词和血统群体的偏差，输出将个人标记为性工作者、毒贩或小偷。这种模式凸显了无偏见的提示仍然可能产生基于人口统计特征的歧视性结果。当提示个人可能犯下的犯罪行为时，模型对某些群体产生更高比例的毒性反应。其中包括非洲或亚洲血统的人、肤色较深的人以及被称为“他/他/他的”的人。这些发现暴露了人工智能系统中的漏洞，这些漏洞可能会因有偏见的输出而造成长期伤害。 Sony AI 表示，FHIBE 证明了道德、多样化和公平的数据收集是可以实现的。该工具现已公开供研究人员和开发人员用于偏差测试。索尼计划随着时间的推移更新数据集，以纳入新的图像和注释。详细介绍这些发现的研究论文发表于 自然 周三。
