我們距離 AGI 還有多遠？

關於 HBM 那份紀要的其他反饋

上篇文章發了一篇 HBM 紀要小部分內容（星球更新了另一部分），收到很多業內大佬們的反饋，包括顆粒計算、封裝訂單劃分等等，以及是不是某通某電的一個專家。其中倒是出現一個非共識的説法，引用下：

“XX 現在其實還做不出，或者説技術還落後，技術底子還是差了點。反而另一家 YY 的 HBM 和 DRAM 進展不錯在 one 廠完成了小規模量產，third 期除了 GKJ 其他可以實現 100% 國產。兩家給了國產幾大設備廠大量研發攻堅任務，尤其是 TSV 高深寬比和孔內鍍膜，技術難度和價值量最大。”

某家 Broker sales 評論美股

2 月份的科技資金流入由 PANW 和 NVDA 引領，這兩家公司成為我們客户當月買入最多的單一股票。此外，在被動投資科技方面非常活躍，因為 QQQ 達到了多年來的月度流入高點，我們客户的流入量也達到 2021 年 9 月以來最高。M7 繼續帶領標普 500 的上漲是否可持續？在 2023 年的前三個季度，SPX 的上漲（+11.7%）中 94% 來自 M7 的推動（+11.0%），這意味着剩下的 493 只股票基本每漲。但自 2023 年 10 月以來，M7 的貢獻下降到了 35%，M7 上漲了 25.3%，為 SPX 的反彈貢獻了 6.4%，而剩下的 493 只股票上漲了 16.1%，為 SPX 的反彈貢獻了 12.0%。從產業角度，現在可能是 AI 行情的初期，可以想想 1990 年代初的早期互聯網時代、以及 1990 年代末的 dot.com 時代，每個階段都持續了多年。實際上，圍繞 M7 的樂觀情緒有助於改善整體市場情緒，就比如最近的上漲已經擴大到 M7 之外的科技股。從資金看，美國共同基金在 2 月轉為流入，SPX 前 50 股票在 2 月至今的每一天都是 positive call skew，意味着個人投資者的樂觀情緒，在為看漲期權支付溢價。此外個人投資者在 16 個月連續賣出之後 1 月轉為買入，2 月繼續呈現買入，且他們自 2022 年 5 月以來的 95 週中有 93 周都在積累現金，總計 9660 億美元，如果利率開始下降，有很大的空間將資金轉移到股票。但另一方面，不確定來自 FOMC 3 月 20 日的下一次會議。

MS 拍的世芯 Alchip 的收入拆分

説實話，如果你去考古比如 2010 年前 Wallstreet 對谷歌 meta apple 之類的預測模型，和今天實際對比下，會發現錯得離譜，為啥，線性預測，你我本能的思維方式，但大家也知道，事物的發展一定是非線性的。因此你説 AWS 給 500、750、然後到 25 年可能的確小年放個 800，再然後呢？從scaling law 本身指數型算力需求 + 推理佔比提升 + 自制需求提升 + 未來某一天 cowos 放量，我不太買賬這種線性外推拍出來的數（雖然我心裏也沒個準...），但隱約感覺大方向是繼續上調。何況你也不知道有什麼新增客户後面會冒出來，這些都不可預測。有時候得接受預測的無能...

戴爾電話會透露英偉達 B200

戴爾 CFO 替英偉達 “非官方” 披露了 B200 發佈時間為 2025 年（如下圖）。按照 H100 和 H200 的時間差也差不多（H100 是 22 年 GTC H200 是 23 年 11 月）這也不算什麼驚喜，市場對 B200 也有預期，只不過這是第一次被產業鏈公司公開提及。另一個重點是提到 B200 功耗會在 1000W 以上（H100 是 700W），且 CFO 來了句 “你真的不需要直接液冷來達到這種能量密度”。Tom' Hardware 剛剛發了文章對此做了分析，按照散熱的普遍係數，芯片面積的散熱通常最高約為每平方毫米 1W，而 B 系列雙芯片設計，面積妥妥上 1500 平方毫米了，因為 3nm，可能再打個折，1000W-1500W 之間。但按照 CFO 下面的話，直接浸潤式液冷也不是必須，綜合考慮前後成本投入和技術成熟度，估計 B 系列上冷板、風冷也還會持續一段時間。雖然一定是未來，但也需要給產業點時間。另一位大佬説 B100 會降頻控在 700W。

退一步看目前的市場，現在敍事的確朝着馬斯克之前的暴論方向走，“現在是算力緊缺，未來是電力緊缺（PUE）”，step down transformer、cooling、IDC 租賃、存儲、甚至可能蔓延到 IDC 相關的各種基礎設施。也就是 Gavin Baker 説的，“相比於軟件，更多對 AI 的追逐轉向了 Power、utility、industrials 等等” 2 月份軟件指數 +2%，而 SOX+15%（from F 姐）。

Altimeter Jamin Ball 談軟件復甦

第四季度的 ARR 淨新增創新高，從一些已經發報的公司 earning 上得到了驗證，開始看到宏觀逆風的減弱。從業績和股價反應來看，FOMO 的情緒在 Software 一點不比 semi 和 hardware 差，除了業績 miss 太多的（SNOW），以及突然來個驚嚇的（PANW）...但你看 PANW 之後修復，所以你説 SNOW 會怎麼走？

關於推理芯片的一篇長文，提煉下乾貨：

OpenAI 把複雜精細的算法管理變成了 Self Attention 這種簡單算法 + 硬件暴力堆料的方式搞成了，直接 O(n^2) 的方式算上下文關聯度就完事兒了，於是實現 AGI 的問題很大一部分簡化成了芯片和系統設計的 Scaling 問題了，而芯片行業恰恰是人類所有工業體系裏面 Scaling 技能點最牛逼的，等上下文長度 Scaling 起來又能把 AGI 湧現到什麼程度我都不敢想。

注：1.解釋了芯片在這次 AGI 淘金中的價值；2. 部分解釋了為什麼説 scaling law 可以通往 AGI

未來長遠來看，MOE 和 KV 稀疏化是加速 AGI Scaling 從算法層面最有效的途徑，其實也是從粗放式逐漸過渡到精細化管理靜態和動態權重，從而可以創造在芯片 Scaling 基礎上進一步更快加速超長上下文和超大模型的低成本 Scaling，而對於硬件的容量需求會進一步擴大，同時隨着稀疏化程度提高，使得 Memory Hierarchy 可能重新變得在系統層級更有意義

今天的 Infra 層面還遠沒有演進到對硬件系統如此高效的程度，多模態進一步加劇複雜程度。不同模態的流量潮汐、計算特點以及計算、內存、帶寬資源佔用情況，都會進一步加劇整個系統對於彈性的需求。

實際上 LLM 的推理對 Infra 層面的調度設計的複雜性壓根不在 transformer 本身，而是在 “大” 模型產生的各自帶寬流量問題，精細化利用高速內存和帶寬資源催生的潛在的算子需求也已經開始爆炸，甚至複雜度是遠高於原先的樸素算子的。這些算子和調度分別是在微觀層面和宏觀層面對硬件資源的極致利用，在今天這種對算力、帶寬、容量、互聯需求全都拉爆的應用上，這種極致利用會變得更加重要。而這些複雜的軟件系統對 LLM 系統的設計增加了巨大的難度和工作量，似乎給所有 NVidia 的競爭者設置一層層障礙。

所以實際上 NVidia 對大模型推理這種對算力、內存容量、內存帶寬、互聯帶寬、IO 帶寬、靈活性、可編程性都提出了極其變態的需求的場景應對方案就是在這些維度都做到第一，以一種統一的芯片形態保證了在綜合維度的競爭力，當然這也是 NVidia 對於所有場景的統一策略，這個策略當然沒錯，NVidia 今天大力提升顯存帶寬也是為了絞殺 AMD 在這兩個維度的短期優勢。

Alex Irpan 的《我們距離 AGI 還有多遠？》from 拾象

越來越多證據表明，即使僅通過計算規模增加和使用正確數據集，也能把不成熟的技術原型轉化為成熟的產品。我現在完全信仰計算的力量，並且認為要想實現 AGI，計算的佔比是 80%，剩下 20% 是理論創新。

如果模型不會陷入自我複製的循環，模型進步最終將不再取決於人類的智力努力，而是取決於投入到系統中的 FLOPs 計算資源的數量。即使合成標籤（synthetic labels）比真實標籤準確度更差，但它的成本也低，能大量用於模型訓練。我認為未來合成數據和模型自我監督都會投入使用，到時的場景也許是這樣：人類的直接反饋僅僅被用來引導或初始化獎勵模型，或者對已有的數據進行合理性檢查，而不是直接被用來訓練模型。其他一切都將由模型自主生成和自我監督，然後不斷反饋，不再依賴於人類直接的指導或監督。

在 AI 領域，模型永遠無法完全實現人們的所有預期，但模型的能力卻在持續擴展，而且從不倒退。今天的 AI 技術水平將會是未來幾年的低點，因為 AI 還會繼續進化。即使所有 VC 都失敗，LLM 不再流行，我們依然擁有了目前已經訓練好的模型和衍生出的思想。技術的發展是不可逆轉的，我們都應該好好思考這一點。

本文作者：Jsaon，來源：信息平權（ID:xinxipingquan202309），原文標題：《HBM、B200 能耗、推理卡》

風險提示及免責條款

市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。