周三，微軟研究院推出了 Magma，這是一個(gè)集成的 AI 基礎(chǔ)模型，結(jié)合了視覺和語言處理能力，可以控制軟件界面和機(jī)器人系統(tǒng)。如果這些結(jié)果在微軟內(nèi)部測(cè)試之外依然有效，這可能標(biāo)志著一個(gè)支持多模態(tài)的通用 AI 在現(xiàn)實(shí)和數(shù)字空間中進(jìn)行交互操作的重要進(jìn)展。
微軟聲稱，Magma 是第一個(gè)不僅能處理多模態(tài)數(shù)據(jù) (如文本、圖像和視頻)，還能對(duì)其進(jìn)行原生操作的 AI 模型——無論是導(dǎo)航用戶界面還是操控物理對(duì)象。該項(xiàng)目是微軟、KAIST、馬里蘭大學(xué)、威斯康星麥迪遜大學(xué)和華盛頓大學(xué)研究人員合作的成果。
我們已經(jīng)見過其他基于大語言模型的機(jī)器人項(xiàng)目，如 Google 的 PALM-E 和 RT-2，或微軟的 ChatGPT for Robotics，它們都將大語言模型用作接口。然而，與許多需要單獨(dú)模型來進(jìn)行感知和控制的傳統(tǒng)多模態(tài) AI 系統(tǒng)不同，Magma 將這些能力整合到一個(gè)基礎(chǔ)模型中。
微軟將 Magma 定位為朝著代理式 AI 邁出的一步，這意味著系統(tǒng)可以代表人類自主制定計(jì)劃并執(zhí)行多步驟任務(wù)，而不僅僅是回答關(guān)于所見內(nèi)容的問題。
微軟在其研究論文中寫道："給定一個(gè)描述性目標(biāo)，Magma 能夠制定計(jì)劃并執(zhí)行行動(dòng)來實(shí)現(xiàn)它。通過有效地從免費(fèi)獲取的視覺和語言數(shù)據(jù)中轉(zhuǎn)移知識(shí)，Magma 將語言、空間和時(shí)間智能結(jié)合起來，以應(yīng)對(duì)復(fù)雜的任務(wù)和場(chǎng)景。"
微軟并不是唯一追求代理式 AI 的公司。OpenAI 一直在通過 Operator 等項(xiàng)目實(shí)驗(yàn) AI 代理，該項(xiàng)目可以在網(wǎng)頁瀏覽器中執(zhí)行 UI 任務(wù)，而 Google 則通過 Gemini 2.0 探索多個(gè)代理項(xiàng)目。
空間智能
雖然 Magma 建立在基于 Transformer 的大語言模型技術(shù)之上，將訓(xùn)練 Token 輸入神經(jīng)網(wǎng)絡(luò)，但它與傳統(tǒng)的視覺語言模型 (如 GPT-4V) 不同，它超越了所謂的"語言智能"，還包括"空間智能" (規(guī)劃和行動(dòng)執(zhí)行)。通過對(duì)圖像、視頻、機(jī)器人數(shù)據(jù)和 UI 交互的混合訓(xùn)練，微軟聲稱 Magma 是一個(gè)真正的多模態(tài)代理，而不僅僅是一個(gè)感知模型。
Magma 模型引入了兩個(gè)技術(shù)組件：Set-of-Mark，通過為交互元素（如 UI 中的可點(diǎn)擊按鈕或機(jī)器人工作空間中的可抓取物體）分配數(shù)字標(biāo)簽來識(shí)別可在環(huán)境中操作的對(duì)象；以及 Trace-of-Mark，用于從視頻數(shù)據(jù)中學(xué)習(xí)移動(dòng)模式。微軟表示，這些功能使模型能夠完成導(dǎo)航用戶界面或指導(dǎo)機(jī)器人手臂抓取物體等任務(wù)。
微軟 Magma 研究員 Jianwei Yang 在 Hacker News 的評(píng)論中解釋說，"Magma"代表"M(ultimodal) Ag(entic) M(odel) at Microsoft (Rese)A(rch)"，這是因?yàn)橛腥酥赋?Magma"已經(jīng)被一個(gè)現(xiàn)有的矩陣代數(shù)庫使用，可能會(huì)在技術(shù)討論中造成混淆。
相比之前模型的改進(jìn)
在 Magma 的介紹中，微軟聲稱 Magma-8B 在各項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)出色，在 UI 導(dǎo)航和機(jī)器人操作任務(wù)中展現(xiàn)了強(qiáng)大的結(jié)果。
例如，它在 VQAv2 視覺問答基準(zhǔn)測(cè)試中得分為 80.0，高于 GPT-4V 的 77.2，但低于 LLaVA-Next 的 81.8。它在 POPE 測(cè)試中的得分為 87.4，領(lǐng)先所有對(duì)比模型。在機(jī)器人操作方面，Magma 據(jù)報(bào)道在多個(gè)機(jī)器人操作任務(wù)中表現(xiàn)優(yōu)于開源視覺語言動(dòng)作模型 OpenVLA。
一如既往，我們對(duì) AI 基準(zhǔn)測(cè)試持謹(jǐn)慎態(tài)度，因?yàn)樵S多測(cè)試尚未經(jīng)過科學(xué)驗(yàn)證，無法證明其能夠測(cè)量 AI 模型的有用特性。一旦其他研究人員能夠訪問公開發(fā)布的代碼，對(duì)微軟的基準(zhǔn)測(cè)試結(jié)果進(jìn)行外部驗(yàn)證就成為可能。
與所有 AI 模型一樣，Magma 并非完美。根據(jù)微軟的文檔，它在需要隨時(shí)間推移進(jìn)行多個(gè)步驟的復(fù)雜決策方面仍然面臨技術(shù)限制。該公司表示，將通過持續(xù)研究來改進(jìn)這些能力。
Yang 表示，微軟將在下周在 GitHub 上發(fā)布 Magma 的訓(xùn)練和推理代碼，允許外部研究人員在此基礎(chǔ)上繼續(xù)研究。如果 Magma 實(shí)現(xiàn)其承諾，它可能會(huì)推動(dòng)微軟的 AI 助手超越有限的文本交互，使其能夠自主操作軟件并通過機(jī)器人執(zhí)行現(xiàn)實(shí)世界的任務(wù)。
Magma 也表明 AI 文化可以如何快速變化。就在幾年前，這種代理式的討論還讓許多人感到恐懼，他們擔(dān)心這可能導(dǎo)致 AI 接管世界。雖然一些人仍然擔(dān)心這種結(jié)果，但在 2025 年，AI 代理已成為主流 AI 研究的常見話題，而且這種研究的進(jìn)行通常不會(huì)引發(fā)暫停所有 AI 開發(fā)的呼聲。