CoPilot feature gift pack! Microsoft brings personal AI assistant into teams, GPT-4o now powers Azure, browser video real-time translation

自本文作者：李丹

來源：硬 AI

宣佈推出 Copilot 全面融入 Windows 系統的Windows 11 AI PC一天後，微軟又送上了 Copilot 的多種功能 “大禮包”，進一步推動先進的人工智能（AI）助手與微軟的業務及其合作伙伴結合。

美東時間 5 月 21 日週二開幕的年度 Build 開發者大會上，微軟 CEO Satya Nadella 開場先提到微軟幾十年來有兩大夢想：一是能不能讓電腦理解人類，而不是人類被迫理解電腦，二是在信息日益增加的世界，電腦能不能幫助人類推理、規劃以及更有效地運用所有的信息。他認為，現在這波 AI 浪潮能為微軟找到實現這兩大夢想的答案。

隨後，Nadella 聚焦 Copilot。他提到了包含隨時可用本地 API 的 Copilot 庫 Windows Copilot Library，稱有 40 多種端側 AI 模型 “開箱即用”，展示了將 Copilot 全面融入個人電腦（PC）的新型 PC Copilot+ PC 如何與 AI 應用程序（App）密切結合。

週一微軟介紹過 Windows Copilot Runtime 中包含超過 40 個 AI 模型。週二 Nadella 將 Windows Copilot Runtime 類比為重磅 Windows API Win32，因為它讓開發者更容易利用 AI 打造自己的 Windows App。

Azure AI 現已結合 GPT-4o Azure 將率先使用英偉達 Blackwell AI 芯片

接着 Nadella 提到 AI 基礎設施。他表示，微軟擁有 “世界上最全面的人工智能基礎設施”，有望在 2025 年以前實現數據中心 100% 由可再生能源供電，微軟雲計算 Azure 的 AI 服務落地國家數量已增加三倍。

他説，微軟將成為首批提供英偉達最新 Blackwell AI 芯片的雲服務商之一，與英偉達建立了 “深厚的合作伙伴關係”。

Nadella 稱，如今，已有超過 5 萬家組織使用 Azure AI。藉助 Azure AI，微軟提供最廣泛的前沿和開源模型選擇，包括大語言模型（ LLM）和小語言模型（ SLM）。

週一微軟稱，OpenAI 上週最新發布的旗艦模型 GPT-4o 將很快可以加持 Copilot。週二微軟宣佈，集成文本、圖像和音頻處理的多模態模型 GPT-4o 現可在 Azure AI Studio 中使用，也可作為 API 使用。

Nadella 在開發者大會現場透露，GPT-4o 已經結合到 Azure AI，稱 OpenAI 上週的 GPT-4o 演示 “非常神奇”，OpenAI 是微軟 “最具戰略意義、以及最重要的合作伙伴”。

微軟稱，在 OpenAI 官宣 GPT-4o 的同一天，微軟就在 Azure OpenAI 服務上開放了該模型供測試，本週二微軟就宣佈獲得 GPT-4o 的完整 API 訪問權限。

在社交媒體 X，一些網友對此感到興奮，一個高點贊評論稱，這是全新的世界，向 Copilot 問好。

有網友呼籲，展示用於編寫 Python 代碼等原生 App，想要説話和編碼/複製聊天等內容能同時進行，而且不需要特意下什麼命令或者按什麼按鍵，就像有人和你待在同一個房間一樣。

Azure AI 可用文圖小模型 Phi-3-vision OPPO 新手機正測試 Azure AI 文本語言互轉技術

微軟開發的 AI SLM Phi-3 系列週二發佈了一款新的多模態小模型 Phi-3-vision，它可在 Azure 中使用。

微軟介紹，Phi-3 模型功能強大、經濟實惠，並針對個人設備進行了優化。Phi-3-vision 有 42 億參數，能夠輸入圖像和文本，並接收文本回復。例如，用户可以就圖表提出問題，或就特定圖像提出開放式問題。

微軟還透露，中國手機廠商 OPPO 正在其新款智能手機上試點 Azure AI 的語音轉文本、快速轉錄和 Azure AI 文本轉語音技術。

Team Copilot 將個人助手變身團隊會議主持人、聊天協作者、項目經理

微軟推出多種 Copilot 的 AI 功能擴展。週二公佈的一大擴展功能是 Team Copilot。

作為 Copilot 系列生成式 AI 技術的最新擴展，Team Copilot 將 Copilot for Microsoft 365 從幕後的個人 AI 助手，擴展為團隊新的重要成員。您將能夠在 Teams、Loop、Planner 等協作工具中調用 Copilot。

Team Copilot 能夠在會議中擔任會議主持人，管理會議議程、跟蹤會議時間並記錄會議要點；也可以在聊天中作為協作者，提供重要信息、跟蹤行動項目並解決未決問題。它還可以擔任項目經理，幫助確保每個項目順利推進，並及時通知團隊進行輸入。這些初始體驗將在今年晚些時候推出預覽版。

社交媒體 X 的一條評論稱，Copilot 的擴展看起來很有趣，微軟預覽了一些明顯從 ChatGPT 複製過來的功能：Builder UI、自定義函數、GPT Mentions。

Copilot Studio 升級 用户可定製 AI 代理

微軟 Copilot Studio 升級，推出全新的 Agent 代理功能，讓開發者能夠根據特定任務和功能，構建主動響應數據和事件的 Copilot。

基於這類新功能的 Copilot 通過記憶和知識瞭解上下文、推理操作和輸入，基於用户反饋進行學習，並在不知道如何處理時尋求幫助，從而獨立管理複雜、長期運行的業務流程。

從 IT 設備採購到銷售和服務的客户接待，用户都可以讓基於 Copilot Studio 構建的 Copilot 為其工作。在部署前，用户可以先測試自己設計的 Copilot AI 代理，然後在多個渠道使用該代理。

GitHub Copilot 擴展定製 Copilot 體驗

作為微軟生成式 AI 的首批重大運用，GitHub Copilot 目前擁有 180 萬付費用户。GitHub 本週二推出首套由微軟和第三方合作伙伴開發的 GitHub Copilot 擴展，現已開啓受邀預覽。

GitHub Copilot 擴展用於打造智能的第三方生態系統。它的新增功能允許開發者、企業通過其偏好的諸如 Azure、Docker、Sentry 等服務，直接在 GitHub Copilot Chat 中定製其 GitHub Copilot 體驗。

GitHub Copilot for Azure 展示瞭如何利用自然語言和更廣泛的功能來提高開發速度。通過 Copilot Chat 使用該擴展，開發者可以探索和管理 Azure 資源，同時排除故障、查找相關日誌和代碼。

Edge 觀看 YouTube、彭博等網站視頻可實時英翻德意西印地四語種

微軟週二宣佈了一項瀏覽器的新 AI 功能，讓用户您觀看視頻時可以通過配音和字幕實時獲得翻譯內容。微軟的 Edge 瀏覽器將 “很快” 在 YouTube、LinkedIn、Coursera 等網站上提供實時視頻翻譯功能。

該功能將支持西班牙語翻譯成英語，以及將英語翻譯成德語、印地語、意大利語、俄語和西班牙語。Edge 還將支持路透社、CNBC 和彭博社等新聞網站視頻的實時翻譯。微軟計劃未來增加更多語種翻譯以及擴大支持的網站範圍。

媒體評論稱，除了提供一種將視頻翻譯成用户母語的簡潔方法外，Edge 的新 AI 功能應該還會讓失聰或有聽力障礙的用户更容易觀看視頻。

有網友評論稱，這種視頻實時翻譯的功能如果推出，絕對值得關注。問題是，翻譯的準確性和流暢性如何，如何保留原説話者的口氣和語調。

首款基於 Arm Azure Cobalt 虛擬機預覽版 正式發佈 Azure ND MI300X v5 虛擬機

去年 11 月，微軟發佈了首款自研 AI 芯片 Azure Maia 100 和首款自研雲處理器 Azure Cobalt 100。本週二微軟宣佈，在 Azure Cobalt 100 的基礎上，推出基於 Arm 架構定製的 Cobalt 100 虛擬機（VM）預覽版。它是第一代採用微軟新 Cobalt 處理器的虛擬機，對運行通用工作負載和雲原生工作負載時的效率和性能進行了優化。

Nadella 介紹，相比同類型 Azure 虛擬機，基於 Arm 的 Cobalt 100 虛擬機性能可提升多達 40%，它是微軟 Azure 推出的功效最高計算產品。

微軟 Azure 硬件系統及基礎設施負責人 Rani Borkar 也告訴媒體，其初步測試顯示， Azure Cobalt 的性能比目前其數據中心所用所用商用 Arm 服務器的性能高多達 40%。媒體稱，微軟目前正在 Microsoft Teams 和 SQL Server 等工作負載上測試 Cobalt CPU，計劃明年向客户提供處理各種工作負載的虛擬機。

Maia 100 目前正在 GPT 3.5 Turbo 上進行測試， GPT 3.5 同樣是支持 ChatGPT、Bing AI 工作負載和 GitHub Copilot 的模型。與 Cobalt CPU 類似，微軟目前對 Maia 100 處於部署的早期階段，並未披露其具體規格和性能表現。

微軟是首家將 AMD 的 MI300X AI 加速器芯片用於客户 AI 訓練和 AI 推理的雲服務商。本週二微軟宣佈，Azure ND MI300X v5 虛擬機系列已正式發佈，針對高需求 AI，以及諸如 Azure OpenAI Service 的高性能計算（HPC）工作負載進行了優化。

數據分析平台 Microsoft Fabric 推出實時智能

微軟的 AI 支持數據分析平台 Microsoft Fabric 也有新功能發佈。該平台的用户可以利用實時智能（Real-Time Intelligence）進行即時決策，提供了端到端的軟件即服務（SaaS）解決方案，讓客户能夠對海量的、時間敏感的高顆粒度數據採取行動，更快、更明智地制定業務決策。

實時智能現已開啓預覽，它不僅幫助數據分析人員獲得簡單的低代碼/無代碼體驗，也通過代碼豐富的用户界面讓專業開發者受益。

Microsoft Fabric 推出工作負載開發套件，讓獨立軟件供應商（ISV）和開發者能夠在 Fabric 中擴展應用程序，打造統一的用户體驗。

微軟攜手可汗學院 免費為美國中小學教師提供 AI 助手 Khanmigo

週二，微軟和可汗學院（Khan Academy）宣佈達成多元合作伙伴關係，旨在將 AI 的變革潛力轉化為現實。

合作伊始，微軟將協助可汗學院為美國所有相當於國內中小學教育的 K-12 教育者免費提供 Khanmigo for Teachers。這款 AI 驅動的教育助手能夠釋放教師時間，讓他們專注於最重要的事情——與學生互動並提供支持。微軟還將捐贈 Azure AI 優化的基礎架構權限，提升 Khanmigo for Teachers 的可用性。該服務將由 Azure OpenAI Service 提供支持。

可汗學院還將與微軟攜手，藉助微軟開發的 SLM 系列 Phi-3 最新版，探索以經濟實惠、可擴展、適應性強的方式改進數學輔導。他們還計劃將更多可汗學院的教學內容引入 Copilot 和 Microsoft Teams 教育版，為學習者提供更多資源。