Apple officially announces: Supporting the training of Apple Intelligence models on Google's custom chips

本文作者：李丹

來源：硬 AI

公開文件顯示，蘋果開發自家的人工智能（AI）系統 Apple Intelligence 離不開谷歌定製芯片的支持。

美東時間 7 月 29 日週一，蘋果官網公佈了一篇技術論文，詳細介紹為支持蘋果個人智能化系統 Apple Intelligence 而開發了一些基礎語言模型，包括一個用於在設備上高效運行的約 30 億參數模型——端側 “蘋果基礎模型”（AFM），以及一個為蘋果雲端 AI 架構 “私有云計算”（Private Cloud Compute）而設計的大型服務器語言模型——服務器 AFM。

論文中，蘋果介紹，端側 AFM 和服務器 AFM 是蘋果開發的生成式模型大家族成員，這些模型都用於支持用户和開發者。論文中，蘋果披露，訓練模型採用了谷歌研發的第四代 AI ASIC 芯片 TPUv4 和更新一代的芯片 TPUv5。文章寫道：

“我們在 8192 塊 TPUv4 芯片上從無到有訓練服務器 AFM，使用 4096 的序列長度和 4096 個序列的批量大小，進行 6.3 萬億 token 訓練。”

“端側 AFM 在 2048 塊 TPUv5p 芯片上進行訓練。”

在這篇長達 47 頁的論文中，蘋果沒有提到谷歌或是英偉達的名字，但表示，其 AFM 和 AFM 服務是在 “雲 TPU 集羣” 上訓練。這意味着，蘋果向雲服務商租用了服務器執行計算。

事實上，今年 6 月的全球開發者大會（WWDC）期間，媒體已經在蘋果公佈的技術文件細節中發現，谷歌成為蘋果在 AI 領域發力的另一位贏家。蘋果的工程師在構建基礎模型時運用了公司自研的框架軟件及多種硬件，包括僅在谷歌雲上可用的張量處理單元（TPU）。只不過，蘋果未透露，相比英偉達等其他 AI 硬件供應商，蘋果有多依賴谷歌的芯片和軟件。

因此，本週一在社交媒體 X 上有評論指出，6 月就出過蘋果用谷歌芯片的消息，現在我們有了更多關於訓練堆棧的細節。

有評論稱，蘋果並不是討厭英偉達，只不過 TPU 的速度更快。還有評論稱，TPU 速度更快，所以蘋果用它是有道理的，當然也可能它比英偉達的芯片更便宜。

本週一媒體評論稱，谷歌的 TPU 最初是為內部工作負載而創建，現在正得到更廣泛的應用。蘋果用谷歌芯片訓練模型的決定表明，在 AI 訓練方面，一些科技巨頭可能正在尋找並且已找到英偉達 AI 芯片的替代品。

華爾街見聞曾提到，上週，Meta 的 CEO 扎克伯格和 Alphabet 兼谷歌的 CEO 皮查伊都在講話中暗示，他們的公司和其他科技業公司可能在 AI 基礎設施方面投資過度，“可能過多投入 AI”。但他們同時都承認，如果不這樣做，商業風險太高。

扎克伯格説：

“落後的後果是，你在未來 10 到 15 年內，都會在最重要的技術上處於不利地位。”

皮查伊説：

AI 成本高，但投資不足的風險更大。谷歌可能在 AI 基礎設施上投資過多，主要包括購買英偉達的 GPU。即使 AI 熱潮放緩，公司購買的數據中心和計算機芯片也可以用於其他用途。對我們來説，投資不足的風險遠遠大於投資過度的風險。