猫眼电影
猫眼电影记者 琼文 报道w3u7903ejky2ywls
覆盖桌面、移动和 Web,7B 模型超越同类开源选手,32B 模型挑战 GPT-4o 与 Claude 3.7,通义实验室全新Mobile-Agent-v3现已开源。
一眼看到实力:关键成绩速览。
备注:分数来源于公开基准,包括桌面 + 移动环境的任务规划、定位、推理、执行等全链路能力
开源地址:https://github.com/X-PLUG/MobileAgent
背景:为什么 GUI Agent 要这么强?
GUI 智能体,就像你的跨平台虚拟操作员,能看懂屏幕、点鼠标、敲键盘、滑手机,在办公、测试、RPA 等场景自动执行任务。然而,要实现这一愿景,现有方案却面临重重挑战。它们往往能力割裂,比如精于定位 UI 元素却拙于长任务规划,或难以融入灵活的多智能体框架。
同时,许多方案严重依赖特定的硬件和操作系统,适配成本高昂;而依赖闭源模型的方案则缺乏灵活性,遇到全新任务时常常束手无策。
更现实的是,高昂的推理成本、多图输入带来的延迟以及部署困难,都成为阻碍 GUI 智能体广泛应用的瓶颈。
亮点一
GUI-Owl + Mobile-Agent-v3 + 云环境
这是一个基于云环境的全链路开源解决方案—— 它既是当前最强的开源单体 GUI Agent 模型,也包含为其深度优化的多智能体框架。我们通过搭建覆盖 Android、Ubuntu、macOS、Windows 的多操作系统云环境基础设施,并结合阿里云的云手机与云电脑,实现了直接在云端沙箱中运行、调试、采集数据的全新范式。
在大多数 GUI Agent 方案中,采集高质量训练数据是最大的瓶颈,不仅慢,而且贵。为此,我们没有走传统的人工标注老路,而是直接打造了一整套跨平台的云环境基础设施与一套名为「自我进化 GUI 轨迹生产链路」的数据闭环系统。这套系统让 GUI-Owl 和 Mobile-Agent-v3 自己生成任务轨迹、筛选出正确轨迹,再反过来对自身进行迭代优化,将人类的参与降到最低,形成一个跨平台、自动化、可持续的数据生产与模型优化循环。
整个流程的核心是让模型在实践中自我成长。 首先,系统会在覆盖 Android、Ubuntu、macOS 和 Windows 的云端环境中动态构建虚拟实验室,确保每次任务都在贴近真实用户场景的干净快照中运行。随后,高质量的任务生成模块会为模型「出题」,它针对移动端,通过人工标注的有向无环图(DAG)来模拟真实 App 流程,并用 LLM 生成多约束的自然语言指令;而对于元素更密集的桌面端,它则结合可访问性树(Accessibility Tree)与深度搜索链来挖掘复杂软件的操作路径,确保生成的任务既真实又可控。
有了任务,GUI-Owl 模型和 Mobile-Agent-v3 框架便开始在虚拟环境中执行操作,产出完整的交互轨迹。然而,并非所有轨迹都是完美的。因此,一个精密的轨迹正确性评估模块会介入,它包含一个「Step-Level Critic」,能细致分析每一步操作前后的界面变化,判断其有效性;还有一个「Trajectory-Level Critic」,采用纯文本和多模态双通道机制,从全局视角评估整个任务是否成功。只有通过双重校验的轨迹才会被采纳。
对于那些模型反复尝试依旧失败的困难任务,系统还会启动困难任务指南生成模块。它会分析已有的成功轨迹(可能来自人工或其他模型),用 VLM 提炼出每一步的关键动作描述,并由 LLM 总结成一份「通关攻略」。这份指南将在后续尝试中作为提示,有效提高成功率。最后,所有经过筛选和强化的优质轨迹数据,都会被用于对 GUI-Owl 进行强化学习微调,让模型的能力在真实交互中稳步增强,最终实现真正的自我进化。
亮点二:全栈 GUI 能力构建
从「看得懂」到「想得全」到「做得准」
GUI-Owl 在安卓和桌面两端同时拿下 SOTA,关键在于我们为其构建了全栈式的 GUI 能力,确保它不仅「看得懂」,更能「想得全」、「做得准」,并具备天然的泛化与适配能力。
首先是极致的 UI 元素定位(Grounding)能力。 为了让模型精准找到屏幕上的目标,我们构建了涵盖功能、外观、布局等多维信息的复合型 Grounding 数据集。我们不仅融合了 InternVL、UI-Vision 等多个主流开源数据集,还创新地利用 Accessibility Tree 自动生成带有功能描述的标注数据,并辅以多模态模型补全外观和布局信息。
特别针对元素密集的 PC 界面,我们开创性地使用 SAM 对截图进行子区域分割,再让 MLLM 在小范围内进行精细定位,有效解决了定位难题。所有数据都经过严格清洗,包括与 Omniiparser V2 的检测结果进行比对筛选,并用 LLM 将生硬的指令改写得更自然,确保了训练数据的质量与真实性。
其次是深度的长任务规划(Task Planning)与动作语义理解(Action Semantics)。 为了应对复杂任务,GUI-Owl 的规划能力来自两个方面:一方面,它能从历史成功轨迹中「蒸馏」出经验,形成可复用的任务执行手册;另一方面,它也从 Qwen3-235B 这样的大规模语言模型中学习跨应用、跨功能的通用规划知识,使其面对全新场景也能从容制定计划。
更重要的是,模型通过学习海量的「操作前 / 后」截图对比,深刻理解了每个动作与界面状态变化之间的因果关系,真正做到了知其然,更知其所以然。
最后,我们为其注入了强大的稳健推理(Robust Reasoning)与泛化适配能力。 GUI-Owl 不只是机械地模仿操作,而是理解其背后的决策逻辑。我们开创性地从 Mobile-Agent-v3 多智能体框架中蒸馏推理数据,让单一模型学会从管理者、执行者、反思者等多个角色的视角进行思考,显著减少了决策盲区。
同时,结合离线提示式拒绝采样和迭代式的在线训练,模型的推理能力在真实任务中被反复打磨和验证。这种全面的训练方式,使得 GUI-Owl 不再是为某个特定框架「定制」的,而是天然具备了跨环境、跨角色的泛化能力。
实验证明,即使将其「即插即用」到从未训练过的第三方 Agent 框架中,其性能依旧远超其他专用或通用模型。
亮点三:可扩展环境强化学习(RL)
让模型「更稳、更聪明、更贴近真实使用」
仅靠离线数据还不足以让一个 GUI Agent 在真实环境中长期稳定运行,它需要真正「泡在环境里」边做边学。为此,我们专门为 GUI-Owl 设计了一套可扩展的环境级强化学习(RL)体系,旨在让模型「更稳、更聪明、更贴近真实使用」。
我们的 RL 训练基础设施在设计上兼顾了灵活性与效率。它采用统一的任务插件接口,无论是「一步到位」的短任务还是跨应用的长链路任务,都能无缝接入。其核心是将经验生成(Rollout)与策略更新完全解耦,这意味着我们可以将数据采集部署在为推理优化的硬件上以最大化吞吐量,同时在训练端保持策略更新的稳定性,从而在优化质量、速度与成本之间取得最佳平衡。
针对 GUI 自动化任务奖励信号稀疏且延迟的特性,我们引入了Trajectory-aware Relative Policy Optimization (TRPO) 算法。该算法不再试图为每一步操作精确分配奖励,而是在整个任务完成后,对整条轨迹进行一次性评估,并根据成功、失败或格式错误给予一个明确的轨迹级奖励。这个奖励信号经过归一化处理后,会均匀地分配到该轨迹的每一个步骤上,从而有效缓解了长任务中棘手的「信用分配问题」,让模型能够从最终结果中稳定地学习。
为了进一步提升学习效率,我们还引入了Replay Buffer 机制,它会缓存历史上成功的案例。当某一轮训练中全是失败的尝试时,系统会自动从缓存中「注入」一个成功样本,确保模型在每个批次都能学到正向反馈。这些专门的优化,使得 GUI-Owl 在在线环境中能够持续提升长任务的成功率,表现更接近真实用户所需的高稳定性。
总结
GUI-Owl的发布,为开源社区带来了一个能力强大的原生端到端多模态 GUI 智能体。它不仅在 AndroidWorld、OSWorld 等关键基准上刷新了开源模型的记录,其 32B 版本更是在多项评测中展现了超越闭源顶级模型的实力。更重要的是,它以单一模型之身,即可胜任复杂的单体任务与多智能体协作中的不同角色,显著降低了部署和资源开销。
而Mobile-Agent-v3框架则是为充分释放 GUI-Owl 潜力而生的最佳拍档。它通过精巧的多智能体协作机制,进一步提升了模型的跨任务执行能力,结合云端沙箱的灵活性,使其能够快速适应并解决各类新场景下的自动化难题。
一句话总结:开源,Mobile-Agent-v3 也能跑在最前面。
时事1:Naruto❌Sakura18禁漫天堂
09月09日,当年轻人的烦恼“穿越”到养老院,
6、努力提高档案服务水平
,憋尿夹震蛋尿失禁车。09月09日,西藏林芝:生活在藏东南的僜人们,
“我们这一王脉,这一世可真是鼎盛,英杰辈出,这个小东西也许不会比毅儿差多少,将来说不定可以镇压八荒,威慑各大种族。”一个年岁更大的老人开口。
,糖心VLOG饼干姐姐,胸前两个球跳舞素材,羞羞漫画免费观看入口。时事2:脱👙让学生🐻在线观看下载
09月09日,平陆运河企石枢纽船闸闸室首块输水廊道封顶,
另一边,他的妻子带着忧容,抱着虚弱的小不点,美丽的面庞上很久不曾出现过笑容了。
,冷美人的sVK,樱花校园老师脱👙让学生摸🐻,田曦薇被C到合不拢腿视频。09月09日,上海“五一”假期叠加“五五购物节” 文旅市场迎客超1623万人次,
它很想冲进石村看个仔细,但当看到老柳树后,本能的畏惧,不敢临近,在外面急促的鸣叫了起来。
,遮天姬紫月被啪到高潮,白鹿裸乳被爆❌白浆的漫画,无码秘蜜桃一区二区。时事3:大雷擦狙狙网站大全
09月09日,习近平出席第四次“一带一路”建设工作座谈会并发表重要讲话中方:敦促美方认清赖清德和民进党当局的“台独”本性,
11月9日是“世界消防日”,11月9日的日数恰好与火警电话号码119相同,而且这一天前后,正值风干物燥,火灾多发的季节,全国各地都在密锣紧鼓地开展防火工作。为了增强全民的消防安全意识,我国就将每年的11月9日定为全国的“消防宣传日”。
,失禁…顶弄…触手男男,兽娘通信牛娘贝尔第一集在线观看Mp3,美女极度色诱图片www视频。09月09日,25幅梵高画作台北展出,
石子陵讶异,他的最强一击即便被几位宗老阻挡,隔绝了九成以上的力量,但依旧不是一般人可以接下的。
,♥️爱情岛论坛aqdavcc,可莉裸体㊙️无遮挡,可ai去衣的色情❌❌软件。时事4:女学生被打屁股♥网站×
09月09日,(乡村行·看振兴)广西罗城:粤桂协作小木耳 乡村振兴大产业,
为期一天的村干部培训班即将结束。培训会上,邹书记从战略的高度对做好新时期镇村干部培训工作做了很好的动员和部署,分线分块的领导也从理论和业务方面分别给我们进行了精心的讲解。我认为无论是邹书记的动员,还是其它领导的专题辅导,都具有很强的针对性、指导性和实践性。大家回去后一定要认真学习,深刻领会,抓好贯彻落实。下面我就此次培训班的举办情况再讲几点意见:
,爱人体亚洲人休沟沟,彼女彼女彼女1~3集无修,十八禁🈲秘㊙️软件。09月09日,“沈阳故宫观景台”上线!打卡沈阳故宫有了新方式,
天亮后,还没有等他们动身,大门外就传来了声音,一个洪亮的嗓音传来,道:“孩子,你在哪里,大叔接你来了,离开这个鬼地方,免得被那几个奴才欺负。”
,杨玉莹性猛XXXX乱大1,AI聊天成人18禁㊙️,裸身拔萝卜㊙️免费视频。责编:陈奕君
审核:杜明戈
责编:朱世藩