"Illusions" affect "reliability"! Salesforce executives say "trust in large models has declined," and usage has decreased

企業軟件巨頭 Salesforce 高管承認，對大模型的信任度在過去一年中有所下降，該公司正在其主要 AI 產品 Agentforce 中減少對生成式 AI 的依賴，轉而採用更多基礎的 “確定性” 自動化技術來提高軟件可靠性。

週一，據 The Information 報道，Salesforce 產品營銷高級副總裁 Sanjna Parulekar 表示：“我們所有人在一年前對大語言模型都更有信心。” 該公司現在 Agentforce 中使用基於預定義指令的確定性自動化，而非完全依賴 AI 模型的推理和解釋能力。

這一策略調整旨在解決大模型在處理精確任務時出現的 “幻覺” 等技術故障，確保關鍵業務流程每次都遵循完全相同的步驟。Salesforce 網站現在強調 Agentforce 能夠幫助 “消除大模型固有的隨機性”。

作為最具價值的軟件公司之一，Salesforce 對大模型的部分退讓可能對數千家使用該技術的企業產生影響，目前 Agentforce 預計年收入將超過 5 億美元。

技術可靠性挑戰推動策略轉變

Salesforce 在實際應用中遇到了大模型的多項技術挑戰。該公司 Agentforce 首席技術官 Muralidhar Krishnaprasad 指出，當給大模型超過 8 個指令時，它會開始遺漏指令，這對需要精確處理的任務來説並不理想。

家庭安防公司 Vivint 的經歷印證了這些問題。該公司為 250 萬客户使用 Agentforce 處理客户支持，但遇到了可靠性問題。例如，儘管給出了在每次互動結束時向客户發送滿意度調查的指令，但 Agentforce 有時會因無法確定的原因不發送調查。

為解決這類問題，Vivint 與 Salesforce 合作在 Agentforce 內設置了"確定性觸發器"，確保每次都能發送調查。使用這種基礎自動化形式不僅降低了運營成本，也為客户提供了更低的價格。

應對 AI"漂移"現象

Salesforce 高管 Phil Mui 在 10 月的博客文章中描述了另一個關鍵挑戰：AI“漂移” 現象。據 Mui 介紹，該公司 “最複雜的客户” 在使用 AI 時遇到困難，“當用户提出無關問題時，AI 代理會失去對其主要目標的關注”。

例如，被編程引導客户填寫表格的 AI 聊天機器人在客户提出與表格無關的問題時會 “失去焦點”。為解決這一問題，Salesforce 開發了 Agentforce Script 系統，通過識別哪些任務可以由不使用大模型的"代理"處理來最小化大語言模型的"不可預測性"。

該系統目前處於測試階段，旨在確保 AI 代理在面對偏離問題時仍能保持專注於核心任務。

實際應用中的調整與優化

在自身運營中，Salesforce 也調整了對大模型的使用程度。儘管 CEO Marc Benioff 此前表示，部分依賴 OpenAI 大模型的 Agentforce 現在處理 Salesforce 大部分客户服務詢問，使公司能夠裁減約 4000 名客户服務人員，但該公司近期似乎減少了其客户服務代理對大模型的使用。

例如，上週該公司在回應 Agentforce 技術問題的協助請求時，顯示了博客文章鏈接列表，而非詢問更多信息或討論可能的問題。這種響應方式類似於企業多年來使用基礎聊天機器人處理客户或網站訪客問題的方式。

Salesforce 發言人表示，公司今年 “完善了主題結構，加強了防護措施，提高了檢索質量，並調整響應以更具體、更符合上下文、更符合真實客户需求”。該發言人稱，幫助代理解決的客户問題比以往任何時候都多，預計在 1 月底結束的財年中，已解決對話數量將增長 90%。

這一趨勢反映了整個行業面臨的挑戰。本月早些時候，由企業 AI 初創公司 Sierra 提供支持的 Gap Inc.聊天機器人回答了關於成人用品和納粹德國的問題，凸顯了大模型偏離預期用途的普遍性問題。