提升 AI 代理可靠性 英伟达推出容器化微服务 Inference Microservices

作者：赵雨荷

来源：硬 AI

英伟达周四推出用于加速生成式 AI 模型的部署的容器化微服务 Nvidia Inference Microservices（NIM），希望帮助企业提高人工智能代理的信任、安全和可靠性。

英伟达在一篇博客中表示，人工智能代理是一项正在迅速发展的技术，正逐步改变人们与计算机互动的方式，但也伴随着诸多关键问题。智能化 AI（Agentic AI）有望革新知识工作者的任务执行方式，以及客户与品牌 “对话” 的方式，但其背后的大型语言模型仍可能出现不良反应，甚至在恶意用户试图突破防护时引发安全问题。

英伟达表示，周四发布的内容是基于其为开发者提供的保护框架 NeMo Guardrails 的扩展，旨在提高生成式人工智能应用的安全性、精确性和可扩展性。NeMo Guardrails 是英伟达 NeMo 平台的一部分，用于管理、定制和保护人工智能，帮助开发者在大型语言模型（LLM）应用中集成并管理 AI 防护措施。目前 Amdocs、Cerence AI 和 Lowe’s 正在使用 NeMo Guardrails 来保护 AI 应用。

英伟达发布的 NIM 共有三种，分别涵盖主题控制、内容安全和越狱保护。该公司表示，这些微服务是经过高度优化的小型轻量级 AI 模型，可通过调控大型模型的响应提升应用性能。

英伟达企业 AI 模型、软件与服务副总裁 Kari Briski 表示。

“其中一项用于调控内容安全的新微服务，是基于 Aegis 内容安全数据集训练的。这是同类数据集中质量最高、由人工标注的数据源之一。”

Aegis 内容安全数据集由英伟达推出，包括超过 35,000 个由人工标注的样本，用于检测 AI 安全问题和试图绕过系统限制的越狱行为。该数据集将在今年晚些时候于 Hugging Face 上公开发布。

例如，用于主题控制的 NIM 可防止 AI 代理 “过于健谈” 或偏离其原本的任务目标，确保其保持在既定主题内。英伟达表示，与 AI 聊天机器人进行的对话时间越长，它越容易忘记对话的初衷，从而让话题偏离轨道，类似于人类对话可能的漫谈。虽然人类可以接受这种情况，但对于聊天机器人，尤其是品牌 AI 代理，偏离主题可能导致谈论到名人或竞争产品，这对品牌不利。

Briski 表示，

“像 NeMo Guardrails 系列中的小型语言模型，具有较低的延迟，专为资源受限或分布式环境中的高效运行而设计，这使它们非常适合在医疗、汽车、制造等行业的医院或仓库等场景中扩展 AI 应用。”

此外，NIM 允许开发者以最小的附加延迟叠加多个防护措施。英伟达表示，这对大多数生成式 AI 应用至关重要，因为用户不喜欢长时间等待，例如看到三点闪烁或转圈加载动画后才出现文本或语音。

英伟达表示，NIM 微服务以及用于轨道编排的 NeMo Guardrails 和 NVIDIA Garak 工具包，现在已经面向开发者和企业开放使用。开发者可以通过相关教程开始将 AI 防护措施集成到客户服务的 AI 代理中，利用 NeMo Guardrails 构建安全的 AI 应用。