AI 時代的 “鏟子”,一文了解熱議的 Mlops 是個啥?

華爾街見聞
2023.04.04 03:51
portai
I'm PortAI, I can summarize articles.

中金指出,AI 大規模快速落地成為產業發展焦點,MLOps 是 AI 掘金時代的 “鏟子”,從模型到生產應用,MLOps 助力 AI 模型落地生花。

4 月 4 日,AI 產業鏈細分 MLOps 繼 3 日大幅拉昇後,4 日開盤一度大漲,臨近午盤有所回落。

另外,最近市場關於它的討論也明顯增多。

資料顯示,MLOps 即機器學習運維,它是一種實踐,旨在幫助團隊更有效地開發、部署和維護機器學習模型。

打個比方的話,可把它想象成一個餐廳:數據科學家相當於大廚,他們將原材料(數據)轉換為美味佳餚(機器學習模型);機器學習工程師則負責確保菜品(模型)在餐廳各個環節的質量和一致性,例如調整配方、監控烹飪過程等;IT 運維人員則負責餐廳的基礎設施,如確保設備正常運行、提供必要的資源和環境等。

MLOps 就是這個餐廳的管理團隊,協調各個部門,確保整個流程高效運轉,從而讓顧客(用户)享受到高質量的產品(機器學習模型)。

據中國通信院《人工智能研發運營體系(MLOps)實踐指南(2023 年)》文章表示,目前AI 生產過程管理問題凸顯

援引 Gartner 調查發現,只有 53% 的項目能夠從 AI 原型轉化為生產,AI 生產轉化率低的主要原因在於模型全鏈路生命週期管理存在問題,包括跨團隊協作難度大、過程和資產管理欠缺、生產和交付週期長等。具體來看,

第一,跨團隊協作難度大。機器學習項目生命週期中涉及業務、數據、算法、研發、運維等多團隊,團隊間缺乏相同的技術和業務背景知識作為協作基礎,從而帶來溝通屏障。

第二,過程和資產管理欠缺。模型生產過程無標準化管理,導致 AI 資產的價值無法有效發揮,原因在於:一是生產過程冗長難管理,AI 模型生產過程涉及的環境、流程複雜,各部門習慣於小作坊的生產模式,重複造輪子現象普遍;二是 AI 資產無集中共享機制,組織內數據、特徵、模型等碎片化 AI 資產無法共享使用,優秀實踐經驗難以沉澱。

第三,生產和交付週期長。機器學習模型生產和交付是一個漫長、複雜又易出錯的過程,且耗費的時間成本較高。據 Algorithmia 報告顯示,38%的企業花費超過 50%的時間在模型部署上。

而據中國信通院報告,MLOps 通過連接模型構建團隊、業務團隊及運維團隊,為機器學習模型全生命週期建設標準化、自動化、可持續改進的過程管理體系,使組織規模化、高質量、高效率、可持續地生產機器學習模型。MLOps 能有效緩解 AI 生產過程的各種管理問題,提升 AI 生產的轉化效率。

人工智能產業發展聯盟 AIIA 也表示,AI 工程化是 AI 大規模發展的必經之路,AI 要成為企業的生產力,就必須以工程化的技術來解決模型開發、訓練、預測等全鏈路生命週期的問題,從而實現模型的規模化生產,而 MLOps 就是 AI 工程化的重要助推器。

MLOps 行業應用落地效果顯著

報告稱,國外方面,MLOps 落地廣泛、效果顯著,其主要應用於組織內部的服務運營、產品或服務開發、營銷、風險預測及供應鏈管理等場景,應用行業涉及 IT、金融、電子商務、製造、化工和醫療行業等。

比如IT 行業:應用 MLOps 後,美國某 IT 公司將開發和部署新 AI 服務的時間縮短到原來的 1/12 到 1/6,運營成本降低 50%;德國某 IT 公司,通過自動化編排和實驗跟蹤,以相同的工作量運行 10 倍的實驗數量;以色列某 IT 公司實驗復現時間減少 50%;某美國出行科技公司三年內機器學習產品數量從零擴展到數百個。

國內方面,MLOps 處於規劃和建設前期,落地探索成效初顯。

IDC2022 年預測,到 2024 年 60% 的中國企業將通過 MLOps 來運作其機器學習工作流程。近 3 年來,國內各行業開始探索契合自身特點的 MLOps 落地解決方案,在數智化轉型熱潮中,IT、金融和電信等數字化程度較高的行業處於相對領先地位,其他行業進展稍緩。

IT 行業,憑藉在數據方面擁有的先天優勢,IT 行業最早開始構建 MLOps 並驅動其業務智能化水平的提升。如百度、華為、阿里、京東等,關注機器學習項目全生命週期的優化和改進,並在原有 AI 中台或雲服務平台上逐步擴展 MLOps 過程管理功能,實踐效果明顯。百度通過應用 MLOps 使得開發週期縮短 54%,測試周期縮短 67%,所投入的人天數縮減 57%9。

金融行業鑑於對風險的敏鋭嗅覺,金融行業在使用 MLOps 驅動業務增長的同時,對模型風險的關注與日俱增。如工行、農行、浦發銀行、中原銀行、中信證券等,細分上千個應用場景,重點聚焦於模型生產、模型管理、模型安全、模型風險等方面,藉助 MLOps 實現模型全流程管控。中原銀行通過應用 MLOps 將模型上線週期從周縮短至天,將模型部署時間從小時級縮短至秒級。

電信行業由於用户數量巨大,模型上線後的運營監控成為電信行業關注的重點之一。如聯通、移動等,對模型運營監控的關注度較高,以保證模型的穩定性。某電信運營商應用 MLOps 建立模型運營監控體系,實現模型持續訓練,節省人力 300 人天/年,成本降低 80%9。

此外,據浙商證券研報,華為雲 AI 開發生產線 ModelArts 也支持全流程 MLOps 開發,實現行業數據參與 AI 持續迭代,大幅提 AI 應用的二次開發效率。

相關產業鏈

機器學習項目以需求、數據、代碼、算法為輸入,以模型、模型服務為輸出,其生命週期主要包括定義問題、數據收集、數據處理、模型訓練、模型評估、模型部署等過程。

MLOps 圍繞持續集成、持續部署、持續監控和持續訓練,構建和維護機器學習流水線,並通過流水線的銜接形成全生命週期閉環體系。

中金指出,MLOps 是 AI 掘金時代的 “鏟子”,,從模型到生產應用,MLOps 助力 AI 模型落地生花。其同時表示,乘 AI 落地之風,MLOps 備受資本市場矚目。

2020 年以來,AI 大規模快速落地成為產業發展焦點,拉動 MLOps 平台工具需求提升,根據 Marketsandmarkets 數據,全球 MLOps 市場處於快速發展階段,預計將從 2022 年的 11 億美元增長到 2027 年的 59 億美元,CAGR 超過 40%。

此外,資本市場投融資熱度上升,Weights&Biases、Tecton、OctoML 等初創公司均獲得了數億美元的融資。此外,大數據廠商龍頭如 Databricks、星環科技亦將 MLOps 能力融合在其 Data+AI 的平台化產品中,其預計國內 MLOps 市場正處於高速增長的規模化放量前期,未來想象空間寬廣。

風險提示及免責條款
市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。