What are tech giants focusing on? Aligning values with artificial intelligence! Microsoft has entered the game.

由微軟支持的 OpenAI 和 Alphabet 旗下的谷歌等知名科技公司與機構，正在越來越多地將人力、資金和算力等資源用於解決 “人工智能價值對齊”（AI alignment）這一核心問題。

最新消息顯示，由非營利性人工智能研究組織 EleutherAI 孵化出的美國新興初創公司 Synth Labs，已從微軟旗下風投基金 M12 和谷歌前 CEO 施密特（Eric Schmidt）的深度科技風投基金 First Spark Ventures 處成功籌集了種子輪融資，將用於幫助一系列公司確保其 AI 系統按照人類的意圖來運作。

據 Synth Labs 的官網介紹，該機構正在開展透明、可審計的人工智能對齊前沿研究，將與頂尖研究學校和全球獨立研究者社區合作，力求建立一個完全可審核且強大的 AGI（通用人工智能）對齊平台，實現預訓練、規模化、自動化數據集的管理和增強，並側重於開源模型。

其官網稱，當前的 “對齊” 方法不夠有效，對 AI 模型的評估更差，這導致 AI 軟件的運行效果往往不盡如人意。人類意圖中的豐富偏好被統一的模型瓦解，基於人類原始數據的模型培訓無法拓展，但這些模型理應擁有自動適應和拓展的能力。

據騰訊研究院等多方資料介紹，人工智能對齊，也可稱為人工智能價值對齊，指的是引導 AI 系統的行為，使其符合設計者的利益和預期目標，特別是要確保 AI 追求與人類價值觀相匹配的目標，確保 AI 以對人類和社會有益的方式行事，不對人類的價值和權利造成干擾與傷害。

隨着人工智能技術的快速發展和應用普及，AI 的多任務學習能力和泛化能力越來越強，也令人工智能對齊成為 AI 控制與 AI 安全的重要議題，以期防範可能帶來的風險與挑戰。

曾有研究者認為，必須在超級人工智能誕生前解決對齊問題，因為一個設計不夠完善的超級人工智能可能會從理性上迅速掌握可控制權，並拒絕創造者對其進行任何修改。

而如果 AI 與人類的價值觀不能對齊，可能會出現以下風險：AI 的行為不符合人類意圖的目標；在多種設定目標衝突時做出錯誤取捨；傷害人類的利益；以及脱離控制等。

目前，OpenAI 成立了對齊團隊並提出 InstructGPT 模型，其競爭對手、由谷歌支持的 Anthropic 也將 “AI 對齊” 作為 Claude 模型的開發重點，致力於打造 “更安全的 AI 聊天機器人”。

Synth Labs 聯合創始人、也是領先的人工智能研究組織 CarperAI 創始人 Louis Castricato 對媒體稱，過去幾個月，Synth Labs 已經構建了可在多個複雜主題上輕鬆評估大語言模型表現的工具，目標是普及易於使用的工具，後者可以自動評估和對齊人工智能模型。

Synth Labs 近期撰寫的研究論文稱，他們在 OpenAI 的 GPT-4 以及 Stability AI 的 Stable Beluga 2 人工智能模型生成對提示語的回答基礎上創建了一個數據集，隨後將其用於一個自動化流程，以指導 AI 聊天機器人避免談論某個話題，並開啓談論另一個話題。

而孵化了 Synth Labs 的 EleutherAI 則稱，希望通過獨立研究更好地瞭解人工智能如何運作和演進，確保 AI 繼續為人類的最大利益服務，為此他們將在透明和協作的基礎上，對市面上現有的人工智能模型進行研究、訓練並公開發布一系列大語言模型。該組織還傾向於開源人工智能：

“關於人工智能的未來和部署的決策，不應完全由那些尋求利用人工智能盈利的科技公司做出。”