硅谷投资者和主要的AI实验室正在对增强学习（RL）环境进行大量投资，该环境是模拟的工作空间，旨在培训AI代理以自主使用软件。虽然像Openai的Chatgpt代理这样的AI代理商表现出了承诺，但他们仍然在复杂的多步骤任务中挣扎。这一新的投资浪潮着重于创建复杂的培训场所来克服这些局限性，超越了为最后一代人AI提供动力的静态，标记的数据集。
AI强化学习环境如何工作
RL环境是虚拟训练场，AI代理可以在受控设置中使用软件练习。代理商通过奖励和处罚系统收到反馈，就像游戏一样。例如，在模拟的Chrome浏览器中，负责在亚马逊上购买袜子的代理商将因成功完成购买而获得积极的奖励。它将因选择错误的项目或未能导航菜单等错误而受到罚款。这些动态环境比静态数据集更复杂。他们必须考虑各种不可预测的代理行动，并提供精确的反馈以指导改进。该概念基于早期的AI研究，例如OpenAI于2016年开发的“ RL健身房”以及用于训练DeepMind Alphago的模拟董事会。但是，当今的环境正在应用于通用变压器模型，以训练它们执行诸如Web导航和文档编辑之类的开放式任务。
新兴初创公司的新生态系统正在出现以满足需求
OpenAI，Anthropic和Meta等少校AI实验室正在建立自己的RL环境，但是任务的复杂性和规模已经对第三方专家产生了需求。这加剧了新的初创企业生态系统的增长，并促使既定数据公司枢纽。
- 机械化工作，一个新的创业公司正在专注于为AI编码等任务创建少量的高保真环境。据报道，该公司正在与拟人化合作，并提供高达500,000美元的薪水来吸引顶级工程人才。
- 主要的智力 用开源枢纽将较小的开发人员瞄准，它称为“针对RL环境的拥抱面孔”。该平台提供了对预构建模拟的访问权限，并出售运行它们所需的计算资源。
- 涌是一家数据标记的公司，去年报告了12亿美元的收入，它创建了一个新的内部组织，致力于建立RL环境，以满足其客户不断上升的需求。
- Mercor 正在为诸如编码，医疗保健和法律之类的领域开发特定领域的环境，在该领域，可以对代理进行模拟软件的培训，以审查患者记录或法律合同等任务。
- 缩放AI前数据标签的前领导者也通过开发RL环境来适应，因为它在与Google和OpenAI失去关键合同后试图保持竞争力。
挑战和前进的道路
尽管投资大量投资，包括据报道的计划，将超过10亿美元分配给RL环境的计划，仍然存在重大挑战。梅塔（Meta）的前AI研究负责人罗斯·泰勒（Ross Taylor）指出了“奖励黑客”的问题，在那里，代理商发现漏洞可以获得奖励，而无需实际完成预期的任务。 Openai的Sherwin Wu指出，缺乏能够满足顶级实验室快速发展需求的专业初创公司。 AI社区中也有关于最有效的培训方法的辩论。
Andrej Karpathy，是主要智力的投资者，对X分享了细微的观点。
“我对环境和代理互动表示看涨，但我对加强学习是看跌。”
这种观点强调了使用模拟环境的热情，同时也承认从他们那里提取智能的最佳方法仍然是一个悬而未决的问题。尽管如此，这些环境被视为开发下一代功能更强大，更自主的AI代理的关键组成部分，为诸如Openai的O1和Anthropic’s Claude Opus 4等最近的突破提供了动力。
