要做 “端側英偉達”！高通力推 NPU，主打低能耗和高帶寬

作者：葛佳明

來源：硬 AI

2024 年智能終端大戰開啓，“手機芯片霸主”高通開始進擊。

3 月 4 日，在高通公司年度股東大會上，高通 CEO Cristiano Amon 直言，當前高通正引領一場 AI 手機的變革並積極進軍 AI PC 領域，與英特爾、AMD 和英偉達等競爭對手展開角逐，將在未來幾個月內推出驍龍 X Elite 芯片，該處理器在 AI 工作負載方面超越了英特爾等競爭對手的產品，Amon 表示：

“驍龍 X Elite 是我們首款搭載定製高通 Oryon CPU 的芯片，它在人工智能性能和電池壽命方面樹立了新的行業標杆。我們期待它為設備上的生成式人工智能和 Copilot 體驗帶來革命性的變革。”

高通認為，雖然目前 AI 處理重心主要集中在雲端，包括 ChatGPT、微軟 Copilots 和谷歌 Gemini，但由於雲端推理成本較高、能耗較大、可靠性及時延、用户隱私及數據安全等問題，端側 AI 部署成為 AI 實現規模化擴展及應用落地的關鍵。

與此同時，端側 AI 部署通過本地運行 “個人大模型”，可以為用户創建個性化的本地知識庫，實現 “千人千面” 個性化體驗，未來端側 AI 將成為人機交互的首選方式。

媒體分析指出，全球消費電子市場也可以依靠端側 AI 的落地走出低谷，IDC 預測，2024 年將成為 AI PC 元年，在 2027 年，AI PC 的滲透率有望達到 85%，波士頓諮詢預測 2028 年全球 AIPC 滲透率達到 80%。

在高通看來，隨着 AI 端側的飛速發展，產業需要在性能、功耗、效率、可編程性和麪積之間進行權衡取捨，而 NPU 則是專門為低功耗加速 AI 推理而設計的一種處理，也是高通在芯片設計領域的強項之一：

通過採用一個全新的供電系統，使 NPU 能夠根據工作負載適配功率，從而兼顧高性能與低能耗此技術升級還引入了微切片推理，進一步提升了加速效果，為用户提供更出色的性能和更長的續航時間

Amon 認為，高通在無線連接和通信技術上的領先地位也經常會被市場忽略，具備能夠提供高帶寬、低延遲、高能效和高精度的連接能力。驍龍 X80 可提升數據傳輸速度、覆蓋範圍和效能，同時降低延遲。連接毫米波網絡時，功耗可降低 10%，定位精度提升 30%。

為何 NPU 是端側 AI 落地的關鍵？

近日，高通正式發佈了《通過 NPU 和異構計算開啓終端側生成式 AI》技術白皮書中文版，揭示了 NPU 的三大殺手鐧。

報告指出，NPU（Neural Processing Unit）是基於 DSA 領域專用架構技術的處理器，相比 CPU、GPU 等通用處理器，從硬件架構上更適合於神經網絡運算，可專門用於給 AI 做硬件加速。

Al 工作負載主要包括由標量、向量和張量數學組成的神經網絡層計算以及非線性激活函數，優秀的 NPU 設計能夠為處理這些 AI 工作負載做出正確的設計選擇，與 AI 行業方向保持高度一致。

高通指出，他們的 NPU 差異化優勢在於系統級解決方案、定製設計和快速創新。通過定製設計 NPU 並控制指令集架構 (ISA)，高通能夠快速進行設計演進和擴展，以解決瓶頸問題並優化性能。

具體來説，高通的系統級解決方案會考量每個處理器的架構、SoC 系統架構和軟件基礎設施，從而優化整體 AI 解決方案。更進一步來看，通過定製設計 NPU 並控制指令集架構，高通可以快速進行設計演進和擴展，以解決瓶頸問題並優化性能。

有了 NPU 還不夠，做好異構計算同樣重要。異構計算可以發揮每種處理器的優勢，比如 NPU 擅長標量、向量和張量數學運算，更適用於核心 AI 工作負載。

高通 AI 引擎就是高通的異構計算架構，目前各類驍龍移動芯片中幾乎都搭載了高通 AI 引擎。

高通要成為 “端側 AI 的英偉達”？

有媒體分析指出，英偉達在芯片行業的主導地位還未輻射到端側 AI 市場，對於端側 AI 市場的競爭日趨白熱化。

高通 CEO Cristiano Amon 指出，高通的處理器已大規模用於全球安卓智能手機中：

“我們正在引領一場變革，讓生成式 AI 賦能全球智能手機用户。憑藉我們最新的驍龍移動平台，我們將繼續鞏固在高端安卓設備市場的領導地位，並提供顯著增強的人工智能處理性能。”

據悉，驍龍 8 Gen 3 作為公司最新的力作，已被三星等領先智能手機制造商採用，並在其最新的 Galaxy S24 系列智能手機中發揮關鍵作用。該處理器不僅提升了手機的整體性能，還針對生成式人工智能功能進行了優化，如三星的 Generative Edit 工具，使用户能夠以前所未有的方式編輯照片，輕鬆擦除或移動拍攝對象。

Amon 認為，市場往往忽視了高通在通信領域的深厚底藴和領導地位。端側 AI 將對數據和帶寬提出更高的需求，而高通在調制解調器和無線技術方面擁有領先優勢常被忽視。

對於端側 AI 來説，高帶寬連接意味着更低的延遲、更大的可用性和更好的覆蓋，高帶寬連接可以支持邊緣設備在執行機器學習任務時獲得更快的響應速度，提高數據傳輸效率，並確保連接的穩定性和可靠性。

高通近日發佈的最新的旗艦級 5G 調制解調器 ——驍龍 X80，這款處理器配備張量加速器 (tensor accelerator)，可提升數據傳輸速度、覆蓋範圍和效能，同時降低延遲。連接毫米波網絡時，功耗可降低 10%，定位精度提升 30%。

此外，在 MWC2024 上，高通公司宣佈推出全新的高通 AI Hub，為開發者打造獲取開發資源的中心，從而基於驍龍或高通平台打造 AI 應用。

高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉表示：“隨着面向智能手機的第三代驍龍 8 和麪向 PC 的驍龍 X Elite 的推出，高通開啓了終端側 AI 的規模化商用。現在，藉助高通 AI Hub，高通將賦能開發者充分發揮這些前沿技術的潛力，打造具有吸引力的 AI 賦能應用。”

Shrout Research 的分析師 Ryan Shrout 表示，AI PC 的熱潮將在 2025 年到來，提前佈局的高通在這場爭奪戰中頗具優勢，儘管高通目前在 AI PC 市場的份額微乎其微，但其驍龍 X Elite 平台提供了遠超英特爾或 AMD 芯片 4 倍以上的 AI 性能，第一批搭載 X Elite 芯片的筆記本將於 2024 年 6 月上市。

2024 年，英特爾、英偉達、AMD、ARM 以及高通間對端側 AI 的市場份額爭奪戰已不可阻擋。