人工智能行业存在的信任问题反映了丹尼尔·卡尼曼（Daniel Kahneman）几十年前在人类决策中发现的一个悖论：人们不会理性地评估结果，而是相对于期望进行情感评估。这种行为怪癖被形式化为前景理论，它解释了为什么即使是完全一致的人工智能代理也会引发用户的不信任，以及为什么人工智能采用的道路是通过心理学而不是技术来实现的。
一致性悖论
当人工智能代理在 95% 的时间内正确执行任务时，传统观点认为用户应该信任它。毕竟，95% 的可靠性超过了大多数人类表现基准。然而在实践中，组织放弃了这些高性能系统。原因在于人类如何经历损失与收益。卡尼曼证明，失去 100 美元的痛苦大约是获得 100 美元的快乐的两倍。这种不对称性——损失厌恶——从根本上决定了我们评估人工智能代理性能的方式。考虑两种情况：
- 场景A：AI 调度代理正确预订了 100 场会议中的 95 场。这 5 次失败包括一次重要的投资者会议。
- 场景B：一位人工助理正确预订了 100 次会议中的 85 次。这 15 次失败分散在不太重要的任命中。
从理性上讲，情景 A 会带来更好的结果。从行为上来说，情景 A 会引发更多的焦虑。人工智能的一次严重失败成为一个生动的、充满情感的参考点，掩盖了 95 次成功。人类的错误感觉更可预测、更可控，对我们的代理感的威胁更小。
参考点和人工智能期望
前景理论的核心见解是，人们根据参考点而不是绝对条件来评估结果。通过人工智能代理，用户无意识地建立了三个相互竞争的参考点：
1.完美锚
当我们委托人工智能时，我们隐含地期望机器级别的性能——零错误、无限耐心、完美回忆。这创造了一个不切实际的基线，任何失败都会让人感到不成比例的痛苦。
2. 人类比较
同时，我们将人工智能的性能与人类的替代方案进行比较。但这种比较并不公平——我们将人为错误视为“可以理解”，而将人工智能错误视为“系统故障”。
3. 最后一次互动
最新的人工智能成果成为强有力的参考点。一次糟糕的经历可能会抹去数周的可靠表现，引发卡尼曼所说的“新近偏差”。这些相互矛盾的参考点造成了心理雷区。人工智能代理不能简单地“足够好”——它必须克服不切实际的完美期望和对每一次失败的严厉关注之间的差距。授权的多巴胺经济学 这就是行为经济学与神经科学的结合：授权决策从根本上来说是由多巴胺驱动的。当你委派一项任务时，你的大脑会做出隐含的预测——“这会起作用，我将从这个负担中解放出来。”
- 如果人工智能成功，你会得到少量的多巴胺奖励。
- 如果失败，你就会经历预测错误——期望与现实之间的心理上痛苦的不匹配。
这会产生不对称的风险状况：
- 成功：少量多巴胺奖励（“正如预期的那样”）
- 失败：大量多巴胺惩罚（“违反了我的信任”）
随着时间的推移，即使是罕见的失败也会让用户将人工智能授权与不可预测的负面结果联系起来。理性计算（“95% 的成功率”）被情感模式（“我不能相信这个系统”）所取代。为什么可解释性不能解决这个问题行业对信任问题的标准反应是可解释性——相信如果用户理解 为什么 人工智能做出了决定，他们就会更加信任它。说明地址 认知不确定性。 AI信任问题源于 情绪的不确定性。考虑一下：您不需要解释您的汽车发动机就可以信任它。您信任它，因为：
- 启动可靠
- 故障是可预测的（警告灯）
- 你保持控制感
人工智能系统在这三个方面都失败了。可解释性有助于可预测性，但无助于可靠性或控制——这两个最重要的情感维度。双向洞察力 最成功的人工智能实施通过以下方式保护用户代理： 双向互动。它们不是完全授权，而是启用反馈循环：用户在受益于人工智能协助的同时保持控制。前景理论解释了为什么它有效：
- 成功的感觉就像 你的 成就
- 失败就像学习，而不是背叛
- 参考点从“人工智能表现”转向“我的增强表现”
示例：GitHub Copilot 不会为您编写代码。它建议代码 你 批准。这保留了代理权，分配了功劳和责任，并避免了授权陷阱。用户喜欢它不是因为它完美，而是因为他们保持掌控。通过损失厌恶重新定义人工智能的采用如果损失厌恶控制着人工智能的信任，那么采用策略必须改变：
- 传统方法： 显示出较高的平均绩效。
- 行为方法： 减少个人失败的痛苦。
这引出了三个设计原则：
1. 优雅的故障模式
工程师的失败是低风险的、可逆的或明确的信号。
2. 渐进式授权
从低风险任务开始，逐渐扩大信任。
3.维护用户代理
设计是为了增强，而不是替代。人工智能信任委托的身份经济学不仅仅是可操作的——它是基于身份的。当你让人工智能为你发送电子邮件时，你就是在让它说话 作为你。行为经济学表明，与身份相关的任务具有不成比例的心理负担。这就是知识工作者如此强烈抵制人工智能的原因：这种风险是存在的。这创造了 身份丧失厌恶 ——对误传的恐惧超过了节省时间的好处。只有当人工智能从以下方面进行重构时，信任才会得到改善：
- 更换 → 代表
- “它为我思考”→“它放大了我的思考”
前进之路行为经济学揭示了信任差距持续存在的原因：
- 损失厌恶影响了用户评估绩效的方式
- 不切实际的参考点扭曲了期望
- 多巴胺驱动的预测错误导致不信任
- 身份问题放大了情绪阻力
解决办法是 心理设计，不仅仅是技术改进：
- 最小化损失厌恶
- 设定现实的期望
- 保留机构
- 将人工智能定义为身份放大
在业界认真对待这一点之前，人工智能代理将仍然是矛盾的：能力很强，但广泛不信任。
