根据迈克尔·沃尔特斯（Gaia Lab，纽伦堡，德国），拉斐尔·考夫曼（Rafael Kaufmann）（Primordia Co.，Cascais，葡萄牙），大法官Sefas（不列颠哥伦比亚省，不列颠哥伦比亚省，加拿大）和托马斯·科宾斯基（Gaia Lab，Fachhochschule，Fachhochschule） Sudwestfalen，德国Meschede），一种新的以物理风格的AI安全方法，可以使多机构系统（例如自动驾驶汽车）更加安全。
他们的论文，“自由能源风险的全身安全AI：守门多代理研究”，引入了一种新的风险测量方法，该方法通过提前预测风险并采取预防措施来改善AI系统中的决策。
什么是自由能原理（FEP），为什么重要？
他们研究的核心是 自由能原理（FEP），最初在物理学中发展的概念。简而言之，FEP有助于解释系统如何平衡 准确性（能量） 和 简单（熵） 做出预测时。
这样想：试图浏览世界的AI系统必须在收集详细信息和有效行动之间取得平衡。如果系统太复杂，就很难管理。如果太简单，它可能会忽略关键风险。作者使用此原理来创建一个 新的风险指标 这避免了需要大量数据或过于复杂的模型，使AI安全 更实用和透明。
累积风险暴露（CRE）是衡量风险的更聪明的方法
研究人员提出了一种新的风险测量系统，称为 累积风险暴露（CRE）。
CRE有何不同？
- 与传统风险模型不同，依靠广泛的世界模型，CRE让利益相关者通过指定首选结果来定义“安全”的含义。
- 这使得 决策透明和灵活，随着系统适应不同的环境和需求。
- 而不是依靠 传感器数据过多，CRE通过在短时间内的预测模拟来估计风险。
CRE提供更多 高效且适应能力 评估AI驱动系统风险的方法，减少对资源密集型计算的依赖。
网守：AI在事情出错之前介入
为了在现实世界中应用CRE指标，研究人员介绍了 看门人– 监视AI决策并在必要时进行干预的模块。
看门人如何工作？
- 对于自动驾驶汽车， 看门人不断模拟可能的未来情况 确定风险。
- 如果他们发现不安全的结果，他们 覆盖车辆的当前驾驶模式 并将其切换为更安全的行为。
- 这允许AI系统 预料 在事实发生之前，它们发生的危险而不是反应。
使用自动驾驶汽车模拟更安全的道路
该研究在 模拟驾驶环境。研究人员将车辆分为两组：
- “ egos” – 由看门人监视和控制的车辆。
- “变化” – 具有固定的预设驾驶行为的背景车辆。
在这个 公路模拟，一些自我车辆被允许由守门人控制，而另一些则不受守门人的控制。
关键发现：
- 即使只有少数车辆受到守门人的控制 整体道路安全改善了。
- 更少的碰撞 发生了，表明积极的干预产生了可衡量的差异。
- 车辆保持 安全时高速 但是，当风险水平上升时，切换到谨慎的驾驶。
结果表明甚至 部分采用 控制者控制的AI可能会导致 更安全的交通状况而不会损害效率。研究的重点是自动驾驶汽车，但 CRE和网守模型可以适用于许多其他AI驱动的字段。
潜在应用包括：
- 机器人技术：确保AI驱动的机器人与人一起安全地工作。
- 金融贸易系统：预测高风险的市场运动并调整策略。
- 工业自动化：防止AI控制的机械做出不安全的决定。
特色图片来源： KeremGülen/Midjourney
