NVIDIA AI Foundry: Creating custom Llama 3.1 generative AI models for global enterprises

作者：房家瑤

來源：硬 AI

企業可以定製自己的 “超級模型”，訓練出符合自己特定需求的生成式 AI 應用程序了？

美東時間 7 月 23 日週二，英偉達宣佈推出全新服務，即英偉達 AI Foundry 和 NVIDIA NIM™推理微服務。

此前Meta 發佈最大開源 AI 模型 Llama 3.1，同時英偉達 AI Foundry 將為全球企業提供 Llama 3.1 模型的定製服務，英偉達與 Meta 聯手以增強全球企業的生成式 AI 能力。

核心服務與功能

1）英偉達 AI Foundry

企業和國家可以使用 Llama 3.1 模型及英偉達的軟件、計算能力和專業知識，為其特定行業創建定製的 “超級模型”。這些模型可以使用企業的專有數據以及從 Llama 3.1 405B 和英偉達 Nemotron™獎勵模型生成的合成數據進行訓練。

2）英偉達 NIM 推理微服務

適用於 Llama 3.1 模型的 NIM 推理微服務現已可下載，能夠顯著提升模型的推理效率，比不使用 NIM 時提高 2.5 倍。企業可以將 Llama 3.1 NIM 微服務與英偉達 NeMo Retriever NIM 微服務結合使用，創建最先進的檢索管道，用於 AI 助手和數字人類化身等應用。

這些服務是靠英偉達 DGX™Cloud AI 平台支持的，該平台是英偉達與全球領先的公共雲服務商合作開發的，能給企業提供非常強大的計算資源，還能根據 AI 需求增長按需擴展規模。

Llama 3.1 是 Meta 公司公開提供的一系列生成式 AI 模型。這些模型是開放源代碼的，可以被企業和開發者用來構建先進的生成式 AI 應用。Llama 3.1 模型包括 80 億、700 億和 4050 億參數規模，經過超過 16000 個英偉達 H100 Tensor Core GPU 的訓練，優化後適用於數據中心、雲端及本地設備。

而且企業可以將 Llama 3.1 NIM 微服務與全新的英偉達 NeMo Retriever NIM 微服務配對，還可助力企業可以構建最先進的檢索管道，用於各種 AI 應用場景，如 AI 副駕駛、智能助手和數字人類頭像等。

通過結合 Llama 3.1 NIM 微服務和英偉達 NeMo Retriever NIM 微服務，企業可以顯著提升 Llama 3.1 模型在生產環境中的部署和使用效率。

滿足企業和國家的 AI 需求

當前，許多企業和國家希望定製大型語言模型，以構建具備領域特定知識和本地化特點的生成式 AI 應用。例如，醫療公司需要 AI 模型理解醫學術語和醫療實踐，而金融公司則需要 AI 模型具備金融領域的專業知識。

現在醫療保健、能源、金融服務、零售、交通和電信等領域的公司已開始使用英偉達 NIM 微服務支持 Llama。首批使用 Llama 3.1 的新 NIM 微服務的公司包括阿美石油公司（Aramco）、美國電話電報公司（AT&T）和優步（Uber）。

英偉達創始人兼首席執行官黃仁勳表示：

“Meta 公開的 Llama 3.1 模型對於全球企業採用生成式 AI 是一個關鍵時刻。Llama 3.1 為每個企業和行業開啓了大門，能讓它們做出最先進的生成式 AI 應用。英偉達 AI Foundry 全面融合了 Llama 3.1，隨時能幫企業構建和部署定製的 Llama 超級模型。”

Meta 創始人兼首席執行官扎克伯格表示：

“新的 Llama 3.1 模型是開源 AI 邁出的極其重要的一步。藉助英偉達 AI Foundry，公司可以輕鬆創建和定製人們想要的最先進的 AI 服務，還能通過英偉達 NIM 進行部署。我很高興能把這個交到大家手中。”

早期採用者的成功案例

全球專業服務公司埃森哲（Accenture）率先採用 NVIDIA AI Foundry，利用其 AI Refinery™框架構建定製的 Llama 3.1 模型，既供自己使用，也為客户提供服務。埃森哲董事長兼首席執行官 Julie Sweet 表示：

“生成式 AI 正在改變各個行業，企業渴望部署由定製模型驅動的應用程序。藉助英偉達 AI Foundry，我們可以幫助客户快速創建和部署定製的 Llama 3.1 模型，推動變革性 AI 應用。”

英偉達 AI Foundry 提供全方位服務支持

1）端到端服務與合作伙伴

英偉達 AI Foundry 是一個綜合性服務平台，它通過整合英偉達的技術資源和開放社區的力量，為企業提供快速構建 AI 模型的能力。

企業利用這個服務，可以選擇或定製 Llama 3.1 模型，並使用英偉達 NeMo 平台以及頂尖的 Nemotron-4 340B 模型（該模型在 Hugging Face RewardBench 上排名第一）來開發自己的 AI 模型。

開發完成後，企業可以進一步創建 NIM 推理微服務，這使得他們能夠在各種雲平台和硬件系統上部署和運行這些 AI 模型，以支持其業務運營。

企業在創建自定義模型後，可以利用英偉達 NIM 推理微服務，在其首選的雲平台和英偉達 A 認證系統上部署和運行這些 AI 模型。英偉達提供專家支持和合作夥伴生態系統，幫助企業加速 AI 模型從開發到實際部署的整個過程。

2）英偉達 Nemotron 支持高級模型定製

需要額外訓練數據的企業可以結合使用 Llama 3.1 405B 和 Nemotron-4 340B 生成合成數據，提高特定領域模型的準確性。擁有自身訓練數據的客户，可以通過英偉達 NeMo 對 Llama 3.1 模型進行領域自適應預訓練（DAPT），進一步提高模型準確性。

英偉達和 Meta 的合作提供了一種方法，讓開發者能夠創建更小、更高效的 Llama 3.1 模型，這些模型可以部署在多種設備上，包括 AI 工作站和筆記本電腦。

3）提升檢索準確性的 NeMo Retriever 微服務

使用全新英偉達 NeMo Retriever NIM 推理微服務進行檢索增強生成（RAG），組織可以在生產中部署定製的 Llama 超級模型時提高響應準確性。這一微服務為開放和商業文本問答提供最高的檢索準確性。

4）廣泛的企業生態系統支持

英偉達 NIM 合作伙伴可以在其 AI 解決方案中集成新的微服務，為超過 500 萬開發人員和 19000 家初創企業提供生成性 AI 增強功能。英偉達 AI Enterprise 提供對 Llama 3.1 NIM 和 NeMo Retriever NIM 微服務的生產支持。英偉達開發者計劃的成員很快將能免費訪問 NIM 微服務，以便在他們喜歡的基礎設施上進行研究、開發和測試。