NVIDIA AI Foundry: Creating custom Llama 3.1 generative AI models for global enterprises

作者：房家瑶

来源：硬 AI

企业可以定制自己的 “超级模型”，训练出符合自己特定需求的生成式 AI 应用程序了？

美东时间 7 月 23 日周二，英伟达宣布推出全新服务，即英伟达 AI Foundry 和 NVIDIA NIM™推理微服务。

此前Meta 发布最大开源 AI 模型 Llama 3.1，同时英伟达 AI Foundry 将为全球企业提供 Llama 3.1 模型的定制服务，英伟达与 Meta 联手以增强全球企业的生成式 AI 能力。

核心服务与功能

1）英伟达 AI Foundry

企业和国家可以使用 Llama 3.1 模型及英伟达的软件、计算能力和专业知识，为其特定行业创建定制的 “超级模型”。这些模型可以使用企业的专有数据以及从 Llama 3.1 405B 和英伟达 Nemotron™奖励模型生成的合成数据进行训练。

2）英伟达 NIM 推理微服务

适用于 Llama 3.1 模型的 NIM 推理微服务现已可下载，能够显著提升模型的推理效率，比不使用 NIM 时提高 2.5 倍。企业可以将 Llama 3.1 NIM 微服务与英伟达 NeMo Retriever NIM 微服务结合使用，创建最先进的检索管道，用于 AI 助手和数字人类化身等应用。

这些服务是靠英伟达 DGX™Cloud AI 平台支持的，该平台是英伟达与全球领先的公共云服务商合作开发的，能给企业提供非常强大的计算资源，还能根据 AI 需求增长按需扩展规模。

Llama 3.1 是 Meta 公司公开提供的一系列生成式 AI 模型。这些模型是开放源代码的，可以被企业和开发者用来构建先进的生成式 AI 应用。Llama 3.1 模型包括 80 亿、700 亿和 4050 亿参数规模，经过超过 16000 个英伟达 H100 Tensor Core GPU 的训练，优化后适用于数据中心、云端及本地设备。

而且企业可以将 Llama 3.1 NIM 微服务与全新的英伟达 NeMo Retriever NIM 微服务配对，还可助力企业可以构建最先进的检索管道，用于各种 AI 应用场景，如 AI 副驾驶、智能助手和数字人类头像等。

通过结合 Llama 3.1 NIM 微服务和英伟达 NeMo Retriever NIM 微服务，企业可以显著提升 Llama 3.1 模型在生产环境中的部署和使用效率。

满足企业和国家的 AI 需求

当前，许多企业和国家希望定制大型语言模型，以构建具备领域特定知识和本地化特点的生成式 AI 应用。例如，医疗公司需要 AI 模型理解医学术语和医疗实践，而金融公司则需要 AI 模型具备金融领域的专业知识。

现在医疗保健、能源、金融服务、零售、交通和电信等领域的公司已开始使用英伟达 NIM 微服务支持 Llama。首批使用 Llama 3.1 的新 NIM 微服务的公司包括阿美石油公司（Aramco）、美国电话电报公司（AT&T）和优步（Uber）。

英伟达创始人兼首席执行官黄仁勋表示：

“Meta 公开的 Llama 3.1 模型对于全球企业采用生成式 AI 是一个关键时刻。Llama 3.1 为每个企业和行业开启了大门，能让它们做出最先进的生成式 AI 应用。英伟达 AI Foundry 全面融合了 Llama 3.1，随时能帮企业构建和部署定制的 Llama 超级模型。”

Meta 创始人兼首席执行官扎克伯格表示：

“新的 Llama 3.1 模型是开源 AI 迈出的极其重要的一步。借助英伟达 AI Foundry，公司可以轻松创建和定制人们想要的最先进的 AI 服务，还能通过英伟达 NIM 进行部署。我很高兴能把这个交到大家手中。”

早期采用者的成功案例

全球专业服务公司埃森哲（Accenture）率先采用 NVIDIA AI Foundry，利用其 AI Refinery™框架构建定制的 Llama 3.1 模型，既供自己使用，也为客户提供服务。埃森哲董事长兼首席执行官 Julie Sweet 表示：

“生成式 AI 正在改变各个行业，企业渴望部署由定制模型驱动的应用程序。借助英伟达 AI Foundry，我们可以帮助客户快速创建和部署定制的 Llama 3.1 模型，推动变革性 AI 应用。”

英伟达 AI Foundry 提供全方位服务支持

1）端到端服务与合作伙伴

英伟达 AI Foundry 是一个综合性服务平台，它通过整合英伟达的技术资源和开放社区的力量，为企业提供快速构建 AI 模型的能力。

企业利用这个服务，可以选择或定制 Llama 3.1 模型，并使用英伟达 NeMo 平台以及顶尖的 Nemotron-4 340B 模型（该模型在 Hugging Face RewardBench 上排名第一）来开发自己的 AI 模型。

开发完成后，企业可以进一步创建 NIM 推理微服务，这使得他们能够在各种云平台和硬件系统上部署和运行这些 AI 模型，以支持其业务运营。

企业在创建自定义模型后，可以利用英伟达 NIM 推理微服务，在其首选的云平台和英伟达 A 认证系统上部署和运行这些 AI 模型。英伟达提供专家支持和合作伙伴生态系统，帮助企业加速 AI 模型从开发到实际部署的整个过程。

2）英伟达 Nemotron 支持高级模型定制

需要额外训练数据的企业可以结合使用 Llama 3.1 405B 和 Nemotron-4 340B 生成合成数据，提高特定领域模型的准确性。拥有自身训练数据的客户，可以通过英伟达 NeMo 对 Llama 3.1 模型进行领域自适应预训练（DAPT），进一步提高模型准确性。

英伟达和 Meta 的合作提供了一种方法，让开发者能够创建更小、更高效的 Llama 3.1 模型，这些模型可以部署在多种设备上，包括 AI 工作站和笔记本电脑。

3）提升检索准确性的 NeMo Retriever 微服务

使用全新英伟达 NeMo Retriever NIM 推理微服务进行检索增强生成（RAG），组织可以在生产中部署定制的 Llama 超级模型时提高响应准确性。这一微服务为开放和商业文本问答提供最高的检索准确性。

4）广泛的企业生态系统支持

英伟达 NIM 合作伙伴可以在其 AI 解决方案中集成新的微服务，为超过 500 万开发人员和 19000 家初创企业提供生成性 AI 增强功能。英伟达 AI Enterprise 提供对 Llama 3.1 NIM 和 NeMo Retriever NIM 微服务的生产支持。英伟达开发者计划的成员很快将能免费访问 NIM 微服务，以便在他们喜欢的基础设施上进行研究、开发和测试。