直擊WAIC2025｜手機(jī)Agent競(jìng)賽升級(jí)：榮耀發(fā)布多模態(tài)感知大模型MagicGUI，從單智能體任務(wù)執(zhí)行到多智能體協(xié)同

每經(jīng)記者｜王晶    每經(jīng)編輯｜董興生    

AI（人工智能）時(shí)代的手機(jī)，不應(yīng)滿足于依靠大模型的能力僅實(shí)現(xiàn)一些諸如翻譯、文檔處理、你問(wèn)我答之類的簡(jiǎn)單功能，AI的“智慧”和手機(jī)的便捷特性理應(yīng)有更廣闊的想象空間。

7月26日，在“2025世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議”（WAIC2025）期間，榮耀發(fā)布MagicGUI大模型并開源。該模型也是其“阿爾法戰(zhàn)略”的重要成果，參數(shù)規(guī)模為70億。相較于傳統(tǒng)語(yǔ)音助手多數(shù)還停留在機(jī)械式對(duì)話的初級(jí)階段，MagicGUI的角色更接近于一位“數(shù)字助理”，它不僅可以理解復(fù)雜需求，更能跨應(yīng)用協(xié)同完成任務(wù)。以打車場(chǎng)景為例，榮耀智能體YOYO可在滴滴、高德等出行App中實(shí)現(xiàn)打開應(yīng)用、選擇地址、確認(rèn)車型并下單等多步流程。這背后是AI智能體（Agent）多模態(tài)感知、UI理解和自動(dòng)執(zhí)行規(guī)劃等能力在終端的加速落地。

事實(shí)上，自2023年OpenAI引爆大模型熱潮以來(lái)，主流手機(jī)廠商已逐漸形成共識(shí)：語(yǔ)音助手的“雞肋時(shí)代”將走向終結(jié)，AI助手不再是“聊天機(jī)器人”或被動(dòng)響應(yīng)，而是具備感知、推理、決策、操作能力的“輕量級(jí)智能體”。在這一趨勢(shì)下，vivo、OPPO、小米等廠商也已在2024年密集推出具備類似復(fù)雜任務(wù)執(zhí)行能力的智能體方案。但如今，基于MagicGUI大模型，榮耀的YOYO已經(jīng)從單智能體任務(wù)執(zhí)行進(jìn)化為多智能體協(xié)同。

從單智能體任務(wù)執(zhí)行到多智能體協(xié)同

回望2011年，蘋果首次在iPhone上引入語(yǔ)音助手Siri，為全球用戶打開了人機(jī)語(yǔ)音交互的大門。但十余年過(guò)去，Siri的功能更新有限，人們多數(shù)時(shí)候只會(huì)用Siri來(lái)設(shè)置鬧鐘或播放歌曲，而不是將其看作一個(gè)真正的數(shù)字助手。

在蘋果2025年全球開發(fā)者大會(huì)（WWDC）上，蘋果沒(méi)有展示任何關(guān)于Siri的新功能，這意味著AI版Siri繼續(xù)“跳票”。甚至直到現(xiàn)在，國(guó)行iPhone 15Pro系列/iPhone 16系列的用戶仍無(wú)法體驗(yàn)蘋果的AI功能。

即便用戶提出諸如“嗨，Siri，幫我在美團(tuán)App上點(diǎn)一杯咖啡”這類請(qǐng)求，Siri至今也只能打開App，無(wú)法進(jìn)一步解析頁(yè)面并完成后續(xù)動(dòng)作。

反觀安卓陣營(yíng)，近年來(lái)，在AI助手實(shí)用性和系統(tǒng)集成度方面的進(jìn)展普遍優(yōu)于蘋果。從榮耀的“YOYO”、vivo的“藍(lán)心小V”到小米的“超級(jí)小愛”，紛紛從傳統(tǒng)語(yǔ)音助手進(jìn)化為“任務(wù)型智能體”，能夠完成點(diǎn)咖啡、訂餐廳、發(fā)紅包、撥打微信電話等任務(wù)。

其中，基于MagicGUI大模型，榮耀智能體還實(shí)現(xiàn)了從單智能體任務(wù)執(zhí)行到多智能體協(xié)同的升級(jí)。比如“一語(yǔ)打車”“一語(yǔ)PPT”，YOYO智能體可同時(shí)調(diào)度多個(gè)專項(xiàng)智能體（如設(shè)計(jì)、排版、支付模塊），完成操作流程。借助MagicGUI大模型賦予的感知、推理、規(guī)劃、反思、執(zhí)行任務(wù)的全鏈路能力，YOYO能夠像人類助理般拆解復(fù)雜任務(wù)、調(diào)度跨應(yīng)用資源等。而單智能體在處理復(fù)雜任務(wù)時(shí)會(huì)顯露出局限性，比如缺乏長(zhǎng)期規(guī)劃能力，通常處理單一、特定的任務(wù)等。

從App主導(dǎo)到Agent主導(dǎo)

移動(dòng)手機(jī)時(shí)代，用戶與設(shè)備交互的主體是一個(gè)個(gè)App，用戶通過(guò)點(diǎn)擊、輸入，在各個(gè)應(yīng)用之間來(lái)回切換完成任務(wù)，而在AI驅(qū)動(dòng)的終端智能體框架中，主導(dǎo)權(quán)正由App轉(zhuǎn)向Agent，即“能理解屏幕、規(guī)劃步驟、自動(dòng)執(zhí)行”的AI助手。

這種變化背后，是各大廠商對(duì)GUI Agent（圖形用戶界面智能體）技術(shù)的持續(xù)投入。作為一種多模態(tài)視覺(jué)模型驅(qū)動(dòng)的系統(tǒng)，GUI Agent可以通過(guò)觀察手機(jī)界面（如截圖或UI結(jié)構(gòu)）感知手機(jī)狀態(tài)，并生成相應(yīng)的動(dòng)作（如點(diǎn)擊、輸入、滑動(dòng)等）來(lái)實(shí)現(xiàn)任務(wù)自動(dòng)化。榮耀的MagicGUI大模型，即是該技術(shù)方向在終端的一次系統(tǒng)落地。

然而，手機(jī)GUI智能體在實(shí)際部署場(chǎng)景中常常面臨重大挑戰(zhàn)。比如，移動(dòng)應(yīng)用和用戶界面的多樣性創(chuàng)造了許多長(zhǎng)尾場(chǎng)景，截至2025年僅Google Play上就有168萬(wàn)個(gè)應(yīng)用，現(xiàn)有智能體在長(zhǎng)尾場(chǎng)景中難以有效執(zhí)行任務(wù)；智能手機(jī)上的各類App的內(nèi)容變動(dòng)頻繁，操作不確定性強(qiáng)。

為此，榮耀方面介紹，其算法團(tuán)隊(duì)為MagicGUI模型設(shè)計(jì)了一個(gè)兩階段的訓(xùn)練范式，包括繼續(xù)預(yù)訓(xùn)練（CPT）與強(qiáng)化微調(diào)（RFT），前者通過(guò)大規(guī)模注入GUI相關(guān)知識(shí)，提升模型的屏幕感知與定位能力；后者引入了空間增強(qiáng)的復(fù)合獎(jiǎng)勵(lì)函數(shù)與DF-GRPO算法，通過(guò)強(qiáng)化學(xué)習(xí)激發(fā)模型知識(shí)表達(dá)，進(jìn)一步提升模型的效果和泛化能力。

經(jīng)過(guò)訓(xùn)練的MagicGUI大模型使得YOYO能根據(jù)屏幕視覺(jué)信息邊思考邊行動(dòng)，依據(jù)頁(yè)面反饋推理下一步操作，更智能高效。如果遇到用戶指令有誤、操作無(wú)法完成等突發(fā)情況，它也能主動(dòng)停止。

開源方面，榮耀MagicOS副總裁孫建發(fā)表示：“目前榮耀MagicGUI大模型報(bào)告已登陸GitHub平臺(tái)（軟件項(xiàng)目托管平臺(tái)），模型與相關(guān)測(cè)試數(shù)據(jù)將于近期上線相關(guān)開源平臺(tái)。”