在 GTC 会议期间，NVIDIA 揭幕 NVIDIA NIM，一个 软件平台旨在简化自定义和预训练人工智能模型与操作设置的集成。 NIM 利用 NVIDIA 在模型推理和优化方面的专业知识，通过将任何选定的模型与经过微调的推理引擎合并并将此组合封装在容器中，然后将其作为微服务提供，从而提供一种易于访问的方法。
NVIDIA 认为 容器部署通常需要开发人员花费几周到几个月的时间才能完成，但可以通过 NIM 加快速度，特别是在公司可能缺乏内部人工智能专业知识的情况下。 NVIDIA 与 NIM 的战略目标是培育一个基于其硬件基础设施构建的 AI 容器网络，这些专门的微服务充当渴望加速其 AI 计划的组织的主要软件组件。
目前，NIM 扩展了对源自以下版本的模型的支持： NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock，以及 Google、Hugging Face、Meta、Microsoft、Mistral AI 和 Stability AI 的开源模型。 NVIDIA 正在积极合作 与亚马逊、谷歌和微软合作 使 NIM 微服务可以通过 SageMaker、Kubernetes 引擎和 Azure AI，相应地。 这些服务准备被整合到诸如 Deepset、LangChain 和 LlamaIndex。
“我们相信 NVIDIA GPU 是运行这些模型推理的最佳场所 […]，我们相信 NVIDIA NIM 是最好的软件包、最好的运行时，开发人员可以在其上进行构建，以便他们可以专注于企业应用程序。”NVIDIA 企业计算负责人 Manuvir Das 在之前的新闻发布会上表示。今天的公告。
关于推理引擎，NVIDIA 计划实施 Triton 推理服务器，旁边 TensorRT 和 TensorRT-LLM 为其运营。 NVIDIA 通过 NIM 提供的产品包括 里瓦, 专为定制语音和翻译模型而设计， 库奥普特 用于增强路由过程，以及 地球二号模型，专为高级天气和气候预报模拟而开发。
NVIDIA 致力于扩展其服务套件，逐步推出新功能。 即将推出的新功能是 NVIDIA RAG LLM 运营商作为 NIM 服务，旨在简化能够合并定制数据的生成式人工智能聊天机器人的创建，显着简化了开发过程。
会议强调了社区和合作伙伴关系的重要性，还强调了与领先公司的合作，例如 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 目前正在使用 NIM 服务。
“成熟的企业平台坐拥数据金矿，可以转化为生成式人工智能副驾驶。 这些容器化 AI 微服务是与我们的合作伙伴生态系统共同创建的，是各行业企业成为 AI 公司的基石。”NVIDIA 首席执行官黄仁勋 (Jensen Huang) 表示。
NVDIA NIM 到底做什么？
从根本上来说， NIM 构成一个充满微服务的容器。 该容器能够合并任何模型类型，从开源到专有，只要它在 NVIDIA GPU 上运行 – 无论是托管在云中还是仅仅在笔记本电脑中。 最后，容器可以部署在任何支持容器的环境中，包括云中的 Kubernetes 设置、Linux 服务器，甚至在无服务器功能即服务框架内。 NVIDIA 将在即将推出的产品中引入无服务器功能特性 ai.nvidia.com 门户，为开发人员提供了在部署 NIM 之前与 NIM 进行互动的途径。
重要的是要注意， NIM 无意取代 NVIDIA 之前的任何模型交付方法。 相反，它是一个专门的容器，捆绑了专为 NVIDIA GPU 定制的高度精细的模型，以及增强推理性能的基本技术。
紧迫的问题涉及向生产的过渡。 如何改进在我们协助下开发的初始原型，以通过使用这些模型进行生产部署来交付切实的业务成果？ 英伟达与领先的数据提供商联盟一起，将 NIM 视为解决这一困境的解决方案。 矢量数据库功能对于激活 RAG 至关重要，受到各种矢量数据库提供商的支持，包括 Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis 和 Weaviate。
特色图片来源： 凯雷姆·葛兰/DALL-E 3
