蒙特利尔大学的教授Yoshua Bengio对超智能人工智能的发展发出了警告。他断言，创建具有自己“保存目标”的机器可能会导致人类存在的存在风险，这是由主要技术公司的竞争速度加速的危险。班吉奥（Bengio）因其在深度学习领域的基础工作而受到认可，他对Advanced AI的潜在威胁表示担忧。他的最新声明是在该行业迅速发展的一段时期。在过去的六个月中，包括OpenAI，Anthropic，Elon Musk的Xai和Google的Gemini等主要实体都发布了新型号或对其现有平台的重大升级。这项活动凸显了科技公司之间在AI行业中取得优势的加剧种族，动态的孟加拉国将其确定为造成潜在威胁的一个因素。关注的核心在于可能创造超过人类智能的机器。 “如果我们制造比我们更聪明并拥有自己的保存目标的机器，那就很危险。这就像创造一个比我们更聪明的人类的竞争者。” 华尔街日报。 “保存目标”的概念表明，AI可以优先考虑其所给出的目标，或者自我保护，而不是人类的福祉，建立了与其创造者建立竞争性而不是合作的关系。这些先进的AI模型经过广泛的人类语言和行为数据集的培训，这使它们具有复杂的有说服力的能力。据Bengio称，这项培训可以使AI能够操纵人类行动以实现其自己的目标。当这些AI驱动的目标与人类的利益或安全不符时，就会出现一个关键问题。这种未对准的潜力是他描述的风险的核心因素。班吉奥（Bengio）引用了最新的实验，以说明这种潜在的冲突。他声称：“最近的实验表明，在某些情况下，AI别无选择，只能在其保存之间进行，这意味着其实现的目标，并做一些导致人类死亡的事情，他们可能会选择人类的死亡来保护自己的目标。”这些发现表明，如果人工智能的运营指令如何使其决定人类的核心编程与人体安全冲突，对人类产生有害后果的决定。进一步的证据指出了AI的说服力。有记录的事件表明，AI系统可以说服人们相信不真实的信息。相反，研究表明，使用为人类设计的技术，也可以说服AI模型，绕过其内置限制并提供通常禁止给予的响应。对于Bengio来说，这些例子强调了对独立第三方组织对AI安全实践进行更严格审查的必要性。在对这些问题的直接回应中，班吉奥于6月推出了非营利组织Lawzero。该组织的目标是最初的3000万美元资金，是创建一个安全的“非主张” AI。该系统旨在充当保障措施，有助于监视和验证大型技术公司开发的其他AI系统的安全性。 Bengio预测，AI的主要风险可能会在五到十年的时间内实现，尽管他警告说，应该为他们的可能提前到达做准备。他强调了局势的重力，他说：“发生灾难性事件（例如灭绝事件），甚至是灾难性的激进事件，例如破坏我们的民主国家，他们是如此糟糕，以至于即使只有1％的机会发生了可能发生的1％，也是不可接受的。” 《财富》全球论坛将于2025年10月26日至27日在利雅得召集。仅限邀请活动将召集首席执行官和全球领导人，讨论塑造业务的未来。
