猫眼电影记者 梅尔泽 报道w3u7903ejky2ywls

无需海量数据标注，智能体也能精确识别定位目标元素了！

来自浙大等机构的研究人员提出GUI-RCPO——一种自我监督的强化学习方法，可以让模型在没有标注的数据上自主提升GUI grounding（图形界面定位）能力。

何谓GUI grounding？为什么要提升这项能力？

简单而言，近年来，以视觉-语言模型为骨架的GUI智能体正在迅猛发展，只需要一句语言指令，它们就能像人一样手眼协同地操作电脑、手机、网页等界面。

GUI智能体的一个关键能力在于GUI grounding，也就是根据用户给出的自然语言指令，GUI智能体需要在用户界面中精确地识别并定位可操作的目标元素。

良好的GUI grounding能力可以使得GUI智能体更好地理解图形界面，以及完成更加精准地界面交互。

然而，想要训练这样一种看似简单的能力，却需要大规模高质量的标注数据——当前绝大多数方法动辄需要上百万级的标注数据，而构建这样的高质量的标注数据需要大量的人工和时间成本。

而GUI-RCPO正好解决了上述问题，其核心原理如下：

通过创新性地将Test-time Reinforcement Learning的思想迁移到GUI grounding任务上，利用模型在多次采样之间呈现出来的区域一致性来引导模型在无标签的数据上进行自我提升。

具体内容如下——

GUI-RC：模型采样“求同存异”

当模型针对同一指令进行多次预测时，由于坐标空间的连续性和解码策略带来的随机性，模型会产生不同的预测区域。

尽管这些预测区域的范围可能互不相同，但是它们会存在一定的空间重叠，这种空间重叠实际上蕴含了一种隐式的置信度信号，重叠程度越高潜在地说明了模型对该区域的置信度越高，研究团队将这种空间重叠定义为模型采样中的区域一致性。

基于这一洞察，研究团队首先设计了一种基于区域一致性进行空间投票的test-time scaling方法——GUI-RC。

首先构建一张与屏幕截图相同大小的投票网格来记录模型每次采样中预测的区域，对于每一个预测结果，将其在网格上对应的区域记上一票，如果模型的预测结果是点坐标，则将其扩展成大小的方框，再投射到网格上。

全部投票结束后，这张网格便记录了模型在采样过程中总体上对每一个像素点的置信度，票数越高的区域代表模型对该区域的信心越强。

随后，提取出网格中票数最高且面积最大的连续区域作为模型采样中的“共识区域”。

最后，利用这块共识区域来进行GUI定位，即可在无需训练的情况下，得到一个更加精确可靠的预测结果。

GUI-RCPO：让模型在无标签数据上自我提升

研究团队进一步提出了一种test-time reinforcement learning方法——GUI-RCPO，将模型采样中的区域一致性转换成一种自监督的奖励信号来指导模型的策略优化。

对于每一个预测结果，GUI-RCPO会赋予其预测区域内的平均票数与最大票数之比的奖励，反映出该区域在采样中的一致性程度，一致性程度越高的区域会被赋予越高的奖励。

这样一来，GUI-RCPO便可以在无需任何标注数据和外部监督的情况下，利用这种区域一致性奖励来指导模型进行策略优化，让模型的输出更加精准且自信，进而提高奖励的可靠性和质量，从而实现在无标签数据上的自我提升。

实验分析

研究团队将GUI-RC和GUI-RCPO两种方法分别应用到不同的通用模型和GUI专用模型上，并在三个主流的GUI定位基准上进行了全面的评估。

对于GUI-RCPO方法，团队使用去掉真值标签的ScreenSpot-v2作为训练数据集。

实验结果表明，两种方法在不同模型上都有一致的提升。

其中GUI-RCPO带来的提升超过了GUI-RC，说明模型在GUI-RCPO训练过程中并不是在简单地拟合共识区域，而是在真正地学会一种更好的定位策略。

此外，GUI-RCPO对于已经在GUI任务上进行过预训练的模型仍然会带来进一步的提升，证明了方法的有效性。

此外，GUI-RCPO还展现出良好的泛化能力，尽管模型只在针对通用场景的ScreenSpot-v2数据集上进行训练，但是在更有挑战性的针对专业场景的ScreenSpot-Pro基准上依然有显著的提升。

并且随着训练步数的增加，模型在三个基准上的表现都有稳定的提升，进一步证明了GUI-RCPO的泛化能力。

研究团队还尝试在GUI-RCPO训练之后，继续使用GUI-RC进行空间区域投票，并发现模型的表现还能进一步提升，说明通过这种自我强化的循环，模型可以在没有任何标注数据和外部监督的情况下，不断突破预期的性能上限。

案例分析

研究团队提供了两个案例，分别展示了GUI-RC可以解决的GUI定位中存在的两类幻觉。

误导性幻觉

在一个电商界面里，用户指令要求GUI智能体在时尚购物区中查看低于50美元的鞋子（图片中蓝色方框框选的区域），而在贪心解码策略下，模型却被相近的语义与版面布局迷惑，错误地框选到了“低于25美元的上衣”区域（左侧图片中红色方框框选的区域），这是典型的语义错配导致的误导性幻觉。

GUI-RC通过对同一指令进行多次采样，并投票选出采样中的共识区域（右侧图片中绿色方框框选的区域），成功地将模型的注意力稳定地聚合到正确的区域，从而纠正了单次预测的误导性错误，给出更精确的定位。

偏差性幻觉

在一个电子平台界面里，用户指令要求GUI智能体“联系销售”（图片中蓝色方框框选的区域），而在贪心解码策略下，模型却把右侧的整张信息卡片当作目标（左侧图片中红色方框框选的区域），而不是精确地框选可点击的“联系销售”按钮。

GUI-RC通过多次采样投票的方式，把一次次略有偏差的预测聚合并提取出一个更加精确、自信的共识区域（右侧图片中绿色方框框选的区域），成功地完成了精准的定位，消除了这类偏差性幻觉。

小结一下

研究团队首先设计了一种无需训练的test-time scaling方法——GUI-RC，通过利用模型在采样过程中呈现出来的空间区域一致性提取出模型的共识区域，从而实现更加精准自信的定位。

为了继续发掘区域一致性的潜力，团队进一步提出了一种test-time reinforcement learning方法——GUI-RCPO，将区域一致性转化为一种自监督的奖励信号，使得模型能够在无需任何标注数据的情况下不断地进行自我提升。

实验证明了该方法有广泛的适用性和良好的泛化能力。

团队的研究揭示了test-time training在GUI智能体领域中的潜力，为构建更加数据高效的GUI智能体提供了一个可行的方向。

论文链接：https://arxiv.org/abs/2508.05615项目主页：https://zju-real.github.io/gui-rcpo/代码仓库：https://github.com/ZJU-REAL/GUI-RCPO

  时事1：免费无遮挡🔞app

  09月10日,我国成功发射千帆极轨03组卫星,

　　春天是播种的季节，让我们播下希望，收获成功。再次祝愿各位家长工作顺利、合家欢乐、万事如意！祝愿您的孩子早日成才，金榜题名。我相信有诸位的大力支持和主体教师的共同努力，我们有决心、有信心、有能力再创辉煌！

,亚洲老奶老太videos。

  09月10日,洪泽湖夕阳美,

　　“这么小的崽子就懂得运转骨文的神秘力量，而且造诣这么深，就是在那些大部族中也应该算是了不得的天才吧。”狈风很冷静，眼神冰寒，带着残冷的笑意，道：“可惜，你活不长了！”

,被躁B多人❌❌❌❌在线观看,国产China对白sex宾馆,打扑克爽又黄视频动漫。

  时事2：杨幂被调教成肉奴1～5

  09月10日,（新春走基层）南非外教邓肯的新年心愿：入乡随俗、学汉语,

　　这是一次很到位的伏杀，真要被击中，青鳞鹰坚硬如铁的鳞片多半也防不住，毕竟这亦是一头有远古兽血的异种山猫。

,缠绵儿媳我叫陈菲小说阅读,公交车强开嫩苞h文高辣h,少妇裸体婬乱免费视频。

  09月10日,高质量建设现代农村金融服务体系,

　　突然，一股恐怖的波动自石笠身上散发，宛若一个太古的神君出世，震动了茫茫天地，他的胸部在发光。

,嗯∽啊～轻点禁🔞视频国外,yy6080高清影院理❤论 视频,涂山苏苏被c到高潮的小说。

  时事3：东北痞帅猛1黄Gay粗口

  09月10日,北京平安地铁志愿服务主题列车上线,

　　是市面积最大的中心城区，区位优势独特。上半年，全区经济保持平稳增长，总量首次突破百亿元大关。人民政府十分关心、支持商业银行在区设立机构，不断完善相关政策、采取有力激励措施，扩大金融服务机构，以促进我区产业结构优化升级。中国民生银行作为一家主要由民营企业为主发起成立的股份制商业银行，自成立以来，始终坚持以服务地方经济、服务中小企业、服务市民的宗旨，凭借持续的金融创新、优质的客户服务、稳健的经营风格和良好的经营业绩，取得了良好的社会效益和经济效益。中国民生银行一直来十分关注地区的建设和发展，今天，中国民生银行在设立支行，不仅是银行自身发展的需要，更是对区发展的强力支持，将进一步拓宽融资渠道，为区域经济社会发展注入强大的活力。

,レストラント排泄脱粪网站,丰满大乳奶做爰ⅩXX视频,裸体王楚然被❌吸乳羞羞。

  09月10日,格林纳达总理：中国一直以和平方式开展合作 引领“全球南方”发展｜世界观,

　　第一，重抓城市建设，是推动嘉荫现代化建设的需要。城市建设事关经济社会发展大局，事关人民群众切身利益。对照县委全会确立的打造“富庶之县、实力之县、宜居之县、和谐之县”的目标，在加快全县城乡一体化的进程中，必须充分发挥城市的龙头带动作用，以城市化带动现代化，以城市发展带动全县发展，以城市文明引领全县文明，以城区品位提升嘉荫形象。

,王者裸体被❌羞羞,他扒开我奶罩吸我奶头变大了视频,狂揉下部❌喷水网站。

  时事4：惩罚女扒开用棉签和冰块视频

  09月10日,抓改革需要有历史眼光（评论员观察）,

　　“它真的要老死了，恐怕就在这两日间！”

,顶级尤物极品女神福利视频,性玩具椅羞耻play调教,学生双腿白浆抽搐高潮h珠内裤。

  09月10日,促进文明交流互鉴 推动实现世界和平,

　　当然，不可避免的，也发生了几次激战，直到现在，他们还没有彻底摆脱追击，一头五色斑斓的大虫追了他们两天了。

,怪物x巨大x无尽x粗暴蒂法,被六个教官玩弄Gay好爽视频,赵露思张开双腿让人骚网站。