微軟內部遭遇 AI 硬件短缺 被迫實施配額制

新浪財經
2023.03.16 01:57

新浪科技訊 北京時間 3 月 16 日上午消息,據報道,知情人士透露,雖然微軟即將宣佈一整套使用 GPT-4 人工智能(AI)軟件的 Office 365 工具,但該公司現在卻面臨內部 AI 服務器硬件短缺的窘境。這迫使微軟不得不對硬件資源採取配額供應的方式,限制其他內部 AI 工具開發團隊的使用量,從而確保基於 GPT-4 的新版必應聊天機器人和即將發佈的新款 Office 工具獲得足夠的資源。這種硬件短缺的現狀還對微軟的客户產生了影響:至少有一個客户表示,需要等待很長時間,才能使用已經通過微軟 Azure 雲服務提供的 OpenAI 軟件。

新浪科技訊 北京時間 3 月 16 日上午消息,據報道,知情人士透露,雖然微軟即將宣佈一整套使用 GPT-4 人工智能(AI)軟件的 Office 365 工具,但該公司現在卻面臨內部 AI 服務器硬件短缺的窘境。

這迫使微軟不得不對硬件資源採取配額供應的方式,限制其他內部 AI 工具開發團隊的使用量,從而確保基於 GPT-4 的新版必應聊天機器人和即將發佈的新款 Office 工具獲得足夠的資源。這種硬件短缺的現狀還對微軟的客户產生了影響:至少有一個客户表示,需要等待很長時間,才能使用已經通過微軟 Azure 雲服務提供的 OpenAI 軟件。

微軟表示正在加緊添置更多硬件,以便增加 AI 計算能力,但如果速度不夠快,就有可能限制其 Azure OpenAI 服務對新客户的吸引力。這些客户會藉助此項服務將 AI 功能添加到自己的應用中。微軟原本在這種新的 AI 工具的商業化方面已經領先於谷歌,但如果遲遲不能解決硬件短缺問題,這種優勢也將難以發揮出來。

谷歌搶在微軟之前於本週發佈了自己的 AI 輔助寫作工具,包括能夠根據簡短的提示,在谷歌 Docs 和 Sheets 中自動編寫文本的軟件。

服務器短缺正值 OpenAI 和微軟試圖快速擴大銷售範圍之際,客户可以使用自己的數據對這種 AI 軟件進行微調,從而開發圖片生成、文檔總結、搜索引擎和聊天機器人等定製化 AI 工具。

微軟已經向 OpenAI 投資了數十億美元,有權通過 Azure OpenAI 服務向創業公司銷售軟件。OpenAI 也將軟件直接授權給客户使用——而作為與微軟合作的一部分,所有 OpenAI 機器學習模型都必須運行在 Azure 服務器上。這兩項服務的定價相同,每次請求收費都不到一美分。

這兩家公司在過去 3 個月推出的服務吸引了企業用户的廣泛興趣,他們都希望將 OpenAI 的 ChatGPT 聊天機器人的底層技術整合到自家產品中。但是微軟 Azure OpenAI 服務的新客户卻要面臨很長的等待時間。

硬件資源短缺的核心問題在於,GPT-4 等新的 AI 大模型需要在 GPU 上運行,這種服務器芯片可以一次性處理大量數據。為了處理這個模型的龐大計算需求,微軟已將數萬個 GPU 整合成一個個羣集,分散到各個數據中心裏。

在明確用户需求量之前,微軟目前不得不將現有的大量 GPU 資源預留給新的必應 GPT-4 聊天機器人和即將推出的 GPT-4 Office 工具。

知情人士表示,微軟 2 月剛剛推出這項必應智能聊天功能,目前還在加緊測算平均每天有多少人願意使用這項服務。知情人士表示,這就導致工程師很難預測該功能所需的計算資源。

而即將推出的 Office GPT-4 工具也可能導致微軟客户對 OpenAI 聊天機器人技術的需求大幅激增。這些新功能包括 AI 文檔總結、個性化寫作建議以及編輯建議等。

其他從事 AI 開發的微軟團隊不得不讓位於必應和 Office,包括為各種機器學習模型的開發團隊,其中就包括微軟的圖靈自然語言生成模型,它可以理解文本,之前曾為電子郵件和 Office 應用中的搜索工具提供底層技術。

知情人士表示,當這些團隊想要使用 GPU 開發新的 AI 工具或測試現有 AI 軟件時,必須向一位公司副總裁提交特別申請,獲批後才能使用硬件。

知情人士稱,有些申請需要等待幾天甚至幾周才能獲批。自 2022 年末,微軟就一直對內部的 GPU 資源實施配額供給,但 1 月以來的等待時間越來越長。

微軟發言人在聲明中補充道,該公司正在為 Azure 等服務增加更多 AI 資源,並且遵循 “優先滿足客户需求並根據需求進行調整的流程”。他們還補充道,微軟並不擔心 AI 資源。

至少有一個微軟客户透露,他們也經歷了延遲訪問的問題。市場營銷軟件創業公司 TouchCast 創始人兼 CEO Edo Segal 説:“幾乎不可能立刻使用程序”。Edo 的公司正在為多家車企開發基於 GPT 的互動式用户手冊,而這項技術正是通過微軟 Azure 授權的。

現有的 AzureAI 客户幾乎未受影響。無人駕駛汽車開發商 Cruise 和 AI 搜索創業公司 Perplexity 的發言人都表示,他們在使用 Azure 的 GPU 資源時並未遇到困難。

去年 11 月,微軟和 GPU 生產商英偉達共同宣佈,微軟將新增數萬個處理器來擴大 AI 處理能力,但目前還不清楚採購進度。

這兩家公司還在週一共同宣佈,Azure 的客户很快就能搶先使用英偉達的新款 H100 GPU——這款產品尚未廣泛發佈。而知情人士稱,已經有少部分微軟內部團隊開始使用 H100,但多數部門尚未獲得這項權限。

炒股開户享福利,送投顧服務 60 天體驗權,一對一指導服務!
海量資訊、精準解讀,盡在新浪財經 APP

責任編輯:劉明亮