- Cerebras Systems 推出了 Wafer Scale Engine 3 (WSE-3),被誉为世界上最先进的 AI 芯片,为 CS-3 AI 超级计算机提供 125 petaFLOPS 的峰值性能。
- WSE-3 芯片有望彻底改变人工智能训练,显着提高效率,同时保持成本和能源效率,拥有 4 万亿个晶体管,性能是其前身的两倍。
- CS-3系统拥有90万个AI核心和高达1.2PB的外部存储器,理论上跻身全球前10名超级计算机之列,在AI模型训练和可扩展性方面展现出前所未有的潜力。
人工智能技术被一些人誉为开拓性创新,也被另一些人批评为精英阶层的福音,但现在它的武器库中拥有了一项改变游戏规则的资产。 Cerebras Systems 揭开了面纱 号称地球上最先进的人工智能芯片、晶圆级引擎 3 (WSE-3)。 该强大引擎驱动 Cerebras CS-3 AI 超级计算机,拥有 125 petaFLOPS 无与伦比的峰值性能,其可扩展性突破了可能的界限。
Cerebras 的 WSE-3 能够提供什么?
详细的关键规格 新闻稿:
- 4万亿个晶体管
- 90万个AI核心
- 125 petaflops 的峰值 AI 性能
- 44GB 片上 静态随机存储器
- 5纳米台积电工艺
- 外部存储器:1.5TB、12TB、 或者 1.2PB
- 训练多达 24 万亿个参数的 AI 模型
- 集群规模高达 2048 个 CS-3 系统
在人工智能生成那些引人入胜的视频和图像之前,它需要接受海量数据的训练,消耗的能量相当于超过 100户正在办理中。 然而,这种尖端芯片以及利用它的计算系统有望显着加快和提高该训练阶段的效率。
WSE-3芯片, 大小与标准棋盘游戏相当,配备了 4 万亿个晶体管,实现了 Cerebras Systems 先前版本(速度方面的前冠军)的两倍性能,同时保持相同的成本和能源效率。 这些芯片集成在 CS-3 系统中,有望提供相当于整个服务器机房的计算能力,所有芯片都压缩成一个只有迷你冰箱大小的单元。
Cerebras 强调, CS-3 拥有 900,000 个 AI 内核和 44 GB 片上 SRAM,能够达到峰值人工智能性能 125 petaFLOPS。 从理论上讲,这个令人印象深刻的规格 将 CS-3 跻身全球 10 强超级计算机之列。 然而,如果没有基准测试,实际应用中的实际性能仍然是推测性的。
为了满足 AI 永不满足的数据需求,CS-3 提供了各种外部存储器配置: 1.5 TB 到 1.2 PB (PB),相当于 1,200 TB。 这种能力使得人工智能模型的训练能够达到 24万亿个参数,使大多数当前人工智能模型的规模相形见绌,其参数数量达到数十亿,而 GPT-4 估计约为 1.8 万亿个。 Cerebras 建议 CS-3 可以轻松地训练具有 1 万亿个参数的模型,就像当代基于 GPU 的系统处理具有 10 亿个参数的模型一样。
WSE-3 芯片背后的创新晶圆生产工艺实现了 CS-3 的可扩展设计。 它支持多达 2,048 个单元的集群,最终形成能够达到 256 exaFLOPS 的超级计算庞然大物。 这将使世界领先的超级计算机的性能相形见绌,目前这些超级计算机的运行速度略高于 1 exaFLOP。 Cerebras 声称这种无与伦比的能力可以促进 Llama 70B 模型在短短一天内从头开始训练。
特色图片来源: 凯雷姆·葛兰/中途