OpenOpenAI's Chief Scientist: OpenOpenOpenAI may already have consciousness, and OpenOpenAI will be immortal for all eternity.
ChatGPT 已經改寫了很多人對未來的預期，把” 永遠不會發生” 變成了” 會比你想象的更快發生”。
按：
OpenAI 首席科學家 Ilya Sutskever 的 X 賬號可能是科技界名人裏最特別的那種，他很少極少分享自己的個人生活，除了轉發公司產品鏈接，他的推文通常都是一些零碎的閃念和思考：“自我是成長的敵人”；“GPU 就是新時代的比特幣”；“如果你把智力看得比人類所有其他品質都重要，那麼你會過得很糟糕”；“生活和商業中的同理心被低估了”；“完美毀掉了很多完美的好東西。”
更多時候，是為（通用人工智能）AGI 站台，正如他的 X 簽名：“打造眾多喜歡人類的 AGI 們”（towards a plurality of humanity loving AGIs）。
在現實生活裏同樣如此，他不熱衷社交，很少在媒體前拋頭露面。唯一能讓他感到興奮的東西，就是人工智能。
近期，Ilya Sutskever 接受了《麻省理工科技評論》記者 Will Douglas Heaven 專訪，他在採訪中談到了 OpenAI 早年的創業史、實現 AGI 的可能性，還介紹了 OpenAI 未來在管控 “超級智能” 方面的計劃，他希望讓未來的超級智能，可以像父母看待孩子那樣看待人類。
以下為正文：
伊爾亞·蘇茨克維（Ilya Sutskever）低頭沉思。他雙臂張開，手指放在桌面上，就像音樂會上即將彈奏第一個音符的鋼琴家。我們靜靜地坐着。
我是來和 OpenAI 的聯合創始人兼首席科學家 Sutskever 會面的，他的公司位於舊金山傳教區一條不起眼的街道上，辦公樓沒有任何標誌，我想聽聽他一手打造的這項顛覆世界的技術的下一步計劃。我還想知道他的下一步計劃，尤其是，為什麼建立他公司的下一代旗艦生成模型不再是他的工作重點。
Sutskever 告訴我，他的新工作重點不是製造下一代 GPT 或圖像製造機 DALL·E，而是研究如何阻止人工超級智能（他認為這是一種假想的未來技術，具有先見之明）的失控。
Sutskever 還告訴了我很多其他事情。他認為 ChatGPT 可能有意識（如果你眯着眼睛看的話）。他認為，世界需要清醒地認識到他的公司和其他公司正在努力創造的技術的真正威力。他還認為，總有一天人類會選擇與機器融合。
Sutskever 説的很多話都很瘋狂。但不像一兩年前聽起來那麼瘋狂。正如他自己告訴我的那樣，ChatGPT 已經改寫了很多人對未來的預期，把"永遠不會發生"變成了"會比你想象的更快發生"。
他説：
“重要的是要討論這一切的方向。”
他在預測 AGI（通用人工智能，像人類一樣聰明的 AI）的未來時，彷彿它就像另一部 iPhone 一樣信心滿滿：
“總有一天，AGI 會實現。也許來自 OpenA。也許來自別的公司。”
自去年 11 月發佈紅極一時的新產品 ChatGPT 以來，圍繞 OpenAI 的討論一直令人印象深刻，即使在這個以炒作著稱的行業也是如此。沒有人不會對這家市值 800 億美元的初創公司感到好奇。世界各國領導人尋求（且得到）和 CEO Sam Altman 私人會面。ChatGPT 這個笨拙的產品名稱在閒聊中不時出現。
今年夏天，OpenAI 的首席執行官 Sam Altman 花了大半個夏天的時間，進行了長達數週的外聯之旅，與政客們親切交談，並在世界各地座無虛席的會場發表演講。但 Sutskever 並不像他那樣是個公眾人物，他也不經常接受採訪。
他説話時深思熟慮，有條不紊。他會停頓很長時間，思考自己想説什麼、怎麼説，把問題像解謎一樣反覆推敲。他似乎對談論自己不感興趣。
他説：
“我的生活很簡單。我去上班，然後回家。我不做其他事情。一個人可以有很多社交，可以參加很多活動，但我不會。”
但當我們談到人工智能，談到他所看到的劃時代的風險和回報時，他的眼睛亮了起來：
“AI 將萬世不朽、震撼整個世界。它的誕生如同開天闢地。”
越來越好，越來越好
在一個沒有 OpenAI 的世界裏，Sutskever 仍將載入人工智能史冊。作為一名以色列裔加拿大人，他出生在前蘇聯，但從五歲起就在耶路撒冷長大（他至今仍能説俄語、希伯來語和英語）。之後，他移居加拿大，在多倫多大學師從人工智能先驅傑弗裏·辛頓（Geoffrey Hinton）。(Sutskever 不想對辛頓的言論發表評論，但他對超級智能災難的關注表明他們是同道中人）。
辛頓後來與楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）分享了圖靈獎，以表彰他們在神經網絡方面的研究成果。但當 Sutskever 在 2000 年代初加入他的團隊時，大多數人工智能研究人員都認為神經網絡是一條死衚衕。辛頓是個例外。
Sutskever 説：
“這就是生成式人工智能的開端。真的很酷，只是還不夠好。”
Sutskever 對大腦非常着迷：它們是如何學習的？以及如何在機器中重新創建或至少模仿這一過程？和辛頓一樣，他看到了神經網絡的潛力，以及辛頓用來訓練神經網絡的試錯技術，即深度學習。Sutskever 説：“它變得越來越好，越來越棒。”
2012 年，Sutskever、Hinton 和 Hinton 的另一名研究生 Alex Krizhevsky 建立了一個名為 AlexNet 的神經網絡，經過訓練，他們識別照片中物體的能力遠遠超過了當時的其他軟件。這是深度學習的大爆炸時刻。
在經歷了多年的失敗之後，他們終於證明了神經網絡在模式識別方面的驚人功效。你只需要足夠多的數據（他們使用的，是普林斯頓大學研究員李飛飛自 2006 年以來一直在維護的 ImageNet 數據集中的一百萬張圖片）和強到爆炸的算力。
算力的提升來自於英偉達公司生產的一種名為圖形處理器（GPU）的新型芯片。GPU 的設計目的是以閃電般的速度將快速移動的視頻遊戲視覺效果投射到屏幕上。但 GPU 擅長的計算——大量數字網格的乘法——卻與訓練神經網絡所需的計算十分相似。
英偉達現在已經是一家市值上萬億美元的公司。當時，它正急於為其市場狹窄的新硬件尋找應用領域。
“當你發明一項新技術時，你必須接受瘋狂的想法，” 英偉達首席執行官黃仁勳説。“我的思想狀態總是在尋找一些古怪的東西，而神經網絡將改變計算機科學的想法，就是一個非常古怪的想法。”
黃仁勳説，在多倫多團隊開發 AlexNet 時，英偉達給他們寄了幾塊 GPU 讓他們試用。但他們想要的是最新版本，一種名為 GTX580 的芯片，這種芯片在門店裏很快就賣光了。根據黃仁勳的説法，Sutskever 從多倫多開車到紐約買到了 GPU。
“人們在街角排起了長隊，” 黃仁勳説。“我不知道他是怎麼做到的——我很確定每個人只能買一個；我們有非常嚴格的政策，每個玩家只能買一個 GPU，但他顯然把它們裝滿了一個後備箱。滿滿一後備箱的 GTX580 改變了世界。”
這是一個偉大的故事，只是可能不是真的。Sutskever 堅稱他的第一批 GPU 是在網上買的。但在這個熱鬧的行業裏，這樣的神話是司空見慣的。
Sutskever 本人則更為謙虛，他説：
“我想，如果我能取得哪怕一丁點真正的進展，我都會認為這是一種成功。現實世界的影響感覺太遙遠了，因為那時的計算機太弱小了。”
AlexNet 取得成功後，谷歌來敲門了。谷歌收購了辛頓的公司 DNNresearch，並聘請了 Sutskever。在谷歌，Sutskever 展示了深度學習的模式識別能力可以應用於數據序列，如單詞和句子，以及圖像。Sutskever 的前同事、現任谷歌首席科學家的傑夫·迪恩（Jeff Dean）説：“Ilya 一直對語言很感興趣，這些年來，我們進行了很好的討論。Ilya 對事物的發展方向有很強的直覺。”
但 Sutskever 並沒有在谷歌工作太久。2014 年，他受聘成為 OpenAI 的聯合創始人。這家新公司擁有 10 億美元的資金支持（來自 CEO Altman、馬斯克、彼得·蒂爾、微軟、Y Combinator 和其他公司），他們有那種硅谷式的雄心，從一開始就把目光投向了開發 AGI，這一前景在當時很少有人認真對待。
Sutskever 是公司的幕後推手，他的雄心是可以理解的。在此之前，他已經在神經網絡方面取得了越來越多的成果。Y Combinator 投資董事總經理 Dalton Caldwell 説，Sutskever 當時已經聲名在外，他是 OpenAI 吸引力的關鍵來源。
Caldwell 説：“我記得山姆（Sam Altman）説伊利亞是世界上最受尊敬的研究人員之一。他認為 Ilya 能夠吸引很多頂尖的人工智能人才。他甚至提到，世界頂級人工智能專家 Yoshua Bengio 認為，不可能找到比 Ilya 更合適的人選來擔任 OpenAI 的首席科學家。”
然而，OpenAI 一開始卻舉步維艱。
Sutskever 説：“在我們啓動 OpenAI 的時候，有一段時間我並不確定將如何繼續取得進展。但我有一個非常明確的信念，那就是不能與深度學習對賭。不知怎的，每次遇到障礙，研究人員都會在半年或一年內找到繞過它的方法。”
他的信念得到了回報。2016 年，OpenAI 的第一個 GPT 大型語言模型（該名稱代表"生成預訓練轉換器"）問世。隨後，GPT-2 和 GPT-3 相繼問世。然後是引人注目的圖片生成模型 DALL·E。當時還沒人能造出這麼好的東西。每一次發佈，OpenAI 都提高了人們對可能性的認識。
管理期望值
去年 11 月，OpenAI 發佈了一款免費使用的聊天機器人，對其部分現有技術進行了重新包裝。它重新設定了整個行業的議程。當時，OpenAI 對自己的產品可能達到的熱度一無所知。
公司內部的期望值低得不能再低了，Sutskever 説：“我承認，我有點尷尬——我不知道我是否應該承認，但管它呢，這是事實——當我們製作 ChatGPT 時，我不知道它是否好。當你問它一個事實性的問題時，它會給你一個錯誤的答案。我以為它會很平淡無奇，人們會説，你為什麼要做這個？這太無聊了！”
Sutskever 説，吸引人的地方在於它的便利性。ChatGPT 引擎蓋下的大型語言模型已經存在了幾個月。但是，將其封裝在一個易於訪問的界面中並免費贈送，讓數十億人第一次瞭解到 OpenAI 和其他公司正在構建的東西。
Sutskever 説：
“這種初次體驗吸引了人們。第一次使用它，我認為幾乎是一種精神體驗。你會想，天哪，電腦似乎能理解我説的話。”
OpenAI 在不到兩個月的時間裏就積累了 1 億用户，其中許多人都被這個令人驚歎的新玩具迷住了。存儲公司 Box 的首席執行官亞倫·列維（Aaron Levie）在推特上總結了發佈後一週的氛圍：“ChatGPT 是技術領域難得一見的時刻，讓你看到了未來一切都將不同的曙光。”
當 ChatGPT 説出一些蠢話時，這種奇妙的感覺馬上就坍塌了。但到那時就無所謂了。Sutskever 説：“那一瞥已經足夠了。ChatGPT 改變了人們的看法。”
“在機器學習領域，AGI 不再是一個骯髒的詞，” 他説。“這是一個巨大的變化。人們歷來的態度是：人工智能行不通，人工智能行不通，每一步都非常困難，你必須為每一絲進步而奮鬥。當人們大肆宣揚人工智能時，研究人員會説：'你在説什麼？這個不行，那個也不行。問題太多了。'但有了 ChatGPT，感覺就開始不一樣了。”
這種轉變是一年前才開始發生的嗎？“是因為 ChatGPT，” 他説。“ChatGPT 讓機器學習研究人員有了夢想。”
OpenAI 的科學家們從一開始就是傳道者，他們通過博客文章和巡迴演講激起了這些夢想。
這一切正在起作用：“我們現在有人在談論人工智能會發展到什麼程度，有人在談論 AGI 或超級智能。不僅僅是研究人員。各國政府也在談論它，這太瘋狂了。”
不可思議的事物
Sutskever 堅持認為，所有這些關於尚未存在（可能永遠不會存在）的技術的討論都是好事，因為這讓更多人意識到他已經認為理所當然的未來。
他説：“你可以用 AGI 做很多了不起的事情，不可思議的事情：實現醫療自動化，讓醫療成本低一千倍，醫療效果好一千倍，治癒很多疾病，真正解決全球變暖問題。但也有很多人擔心，天哪，人工智能公司能否成功管理這項巨大的技術？”
AGI 聽起來更像是一個實現願望的精靈，而非可以出現在現實世界的技術。很少有人會拒絕拯救生命和解決氣候變化問題。但一項不存在的技術的問題在於，你可以對它説任何你想説的話。
當 Sutskever 談到 AGI 時，他到底在説什麼？
他説：“AGI 並不是一個科學術語。它只是一個有用的門檻，一個參照點。它是一種理念。” 他開始説，然後停頓了一下。“它是指人工智能的智能程度，如果人類能完成的任務，人工智能也能完成。然後，你可以説實現了 AGI。”
AGI 仍然是 AI 領域最具爭議性的想法之一。很少有人認為 AGI 的到來是必然的。許多研究人員認為，在我們看到類似 Sutskever 所想的東西之前，還需要在概念上取得重大突破，而有些人則認為我們永遠不會看到。
然而，這是他從一開始就有的願景。Sutskever 説：“我一直受到這個想法的啓發和激勵。當時還不叫 AGI，但你知道，就像讓神經網絡做所有事情一樣。我並不總是相信它們能做到。但這是一座需要攀登的高山。”
他將神經網絡和大腦的運作方式做了類比。兩者都接收數據，匯總數據中的信號，然後根據一些簡單的過程（神經網絡中的數學，大腦中的化學物質和生物電）來決定是否傳播這些信號。這是簡化的比喻，但原理是類似的。
Sutskever 説：
“如果你相信這一點，如果你允許自己相信這一點，那麼就會產生很多有趣的影響。如果你有一個非常大的人工神經網絡，它應該能做很多事情。特別是，如果人腦可以做一些事情，那麼一個大型人工神經網絡也可以做類似的事情。”
“如果你足夠認真地認識到這一點，一切都會水到渠成，” 他説。“我的大部分工作都可以用這一點來解釋”。
在我們談論大腦的時候，我想問一下 Sutskever 在 X（推特）上發表的一篇文章。Sutskever 的帖子就像一卷箴言：“如果你把智力看得比人類所有其他品質都重要，那麼你會過得很糟糕”；“生活和商業中的同理心被低估了”；“完美毀掉了很多完美的好東西。”
2022 年 2 月，他發帖稱，“也許今天的大型神經網絡略有意識”（谷歌 DeepMind 首席科學家、倫敦帝國理工學院教授兼電影《機械姬》（ExMachina）科學顧問默裏·沙納漢（Murray Shanahan）對此回覆道：“……就像一大片麥田可能略帶意大利麪一樣”）。
當我提起這件事時，Sutskever 笑了。他是在開玩笑嗎？他沒有。"他問道："你熟悉玻茲曼大腦的概念嗎？
他指的是量子力學中以 19 世紀物理學家路德維希·波茲曼（Ludwig Boltzmann）命名的一個（調侃式的）思想實驗，在這個實驗中，人們想象宇宙中的隨機熱力學波動會導致大腦突然出現或消失。
“我覺得現在這些語言模型有點像波茲曼大腦，” Sutskever 説，“你開始跟它説話，你説了一會兒；然後你説完了，大腦就……” 他用手做了一個消失的動作。噗——再見，大腦。”
我問他，你是説，在神經網絡活躍的時候，也就是在它發射的時候，有什麼東西在那裏？
他説：
“我想可能是的。我不確定，但這是一種很難反駁的可能性。但誰知道會發生什麼呢，對吧？”
人工智能，但不是我們所知的那種
當其他人還在為機器能與人類的智能相媲美而糾結時，Sutskever 正在為機器能超越我們而做準備。他稱之為人工超級智能：“它們會看得更透徹。它們會看到我們看不到的東西。”
我還是很難理解這到底是什麼意思。人類智能是我們衡量智能的基準。Sutskever 所説的比人類更聰明的智能是什麼意思？
他説，我們已經在 AlphaGo 身上看到了一個有限的超級智能的例子。2016 年，DeepMind 的 AI 圍棋機器人在一場圍棋比賽中以 4:1 的比分擊敗了世界上最好的圍棋選手之一李世石。
Sutskever 説：
“它找出了下圍棋的方法，與人類幾千年來共同開發的方法不同。它提出了新的想法。”
Sutskever 指出了 AlphaGo 謎一樣的第 37 手。在與李世石的第二場比賽中，AI 下出了讓評論員們大跌眼鏡的一步棋，他們認為 AlphaGo 下砸了。事實上，AlphaGo 下出了在對局史上從未有人見過的神之一手（被圍棋迷們稱為 “阿狗流”）。“想象一下，AlphaGo 的洞察力是如此之強，而且是全方位的。” Sutskever 説。
正是這種思路促使 Sutskever 做出了他職業生涯中最大的轉變。他與 OpenAI 的科學家揚·雷克（Jan Leike）一起成立了一個團隊，專注於他們所説的超級對齊（superalignment）。Alignment 是行話，意思是讓人工智能模型做你想做的事，僅此而已。Superalignment 是 OpenAI 的術語，指超級智能的對齊問題。
超級對齊的目標是，為構建和控制這項未來技術制定一套萬無一失的程序。OpenAI 表示，它將分配五分之一的龐大計算資源來解決這個問題，並在四年內解決。
“現有的排列方法對於比人類更聰明的模型不起作用，因為它們從根本上假定人類能夠可靠地評估人工智能系統正在做的事情，” Leike 説，“隨着人工智能系統的能力越來越強，它們將承擔更艱鉅的任務。這種想法認為，人類將更難對它們進行評估。在與 Ilya 組建超對齊團隊的過程中，我們已經着手解決這些未來的對齊挑戰。”
谷歌首席科學家迪恩説：
“不僅要關注大型語言模型的潛在機遇，還要關注其風險和弊端，這一點非常重要。”
OpenAI 於 7 月份大張旗鼓地宣佈了這一項目。但對一些人來説，這不過是天方夜譚。OpenAI 在 Twitter 上發表的博文引起了大科技界著名批評家的嘲諷，其中包括在 Mozilla 從事人工智能問責工作的 Abeba Birhane（"在一篇博文中出現了這麼多聽起來宏偉卻空洞的詞句"）；分佈式人工智能研究所（Distributed Artificial Intelligence Research Institute）聯合創始人 Timnit Gebru（"想象一下，ChatGPT 與 OpenAI 的技術人員更加 ‘超級對齊’。不寒而慄"）；以及人工智能公司 HuggingFace 的首席倫理科學家瑪格麗特·米切爾（"我的聯盟比你的更大"）。誠然，這些都是我們耳熟能詳的不同聲音。但這也有力地提醒我們，在一些人看來，OpenAI 是站在前沿的領導者，而在另一些人看來，OpenAI 則是站在邊緣的領導者。
不過，對 Sutskever 來説，結盟是不可避免的下一步。“這是一個尚未解決的問題，” 他説。他認為，像他自己這樣的核心機器學習研究人員正在研究的問題還不夠多。“我這麼做是為了自己的利益。顯然，重要的是，不管是誰構建的超級智能都不能背叛人類。”
超級智能的工作才剛剛開始。Sutskever 説，這需要研究機構進行廣泛的改革。不過，對於他希望設計的保障措施，他心中已經有了一個範例：能像父母看待孩子那樣看待人類的 AI。他説：“在我看來，這是黃金標準。” 他説，“畢竟人們真的關心孩子。AI 有孩子嗎？沒有，但我希望它能這麼想。”
我和 Sutskever 的談話時間快到了，我想我們已經結束了。但他又有了新的想法——一個我沒有想到的想法：
“一旦你解決了人工智能失控的挑戰，然後呢？在一個擁有更智能人工智能的世界裏，人類還有生存空間嗎？”
"有一種可能性——以今天的標準來看可能很瘋狂，但以未來的標準來看就不那麼瘋狂了——那就是許多人會選擇成為人工智能的一部分。這可能是人類試圖跟上時代的方式。一開始，只有最大膽、最有冒險精神的人才會嘗試這樣做。也許其他人會跟進，或者不會。”
等等，什麼？他準備起身離開。你會這麼做嗎？我問他，你會是第一批嗎？第一批？我不知道，他説。但這是我考慮過的事情。真正的答案是：也許吧。
説完，他站起身，走出了房間。“很高興再次見到你。” 他邊走邊説。
