猫眼电影记者 吴聪聪 报道w3u7903ejky2ywls

允中 发自 凹非寺量子位 | 公众号 QbitAI

抛弃替代损失函数，仅需优化原始目标， 强化学习新范式来了:

消除critic和reference模型，避免KL散度约束；解决优势函数和梯度估计两个偏差。

来自阿里-高德地图的团队提出了一种相当简单的强化学习训练新方法：组策略梯度优化GPG（Group Policy Gradient）。

GPG开创性地从底层重构强化学习训练框架，仅需优化原始目标，解决已有方法偏差，提高训练效率。革新强化学习训练流程，推动智能体性能突破。

在实验中，GPG在单模态和多模态两类任务中表现遥遥领先，其极简架构与高性能表现，有望成为下一代基础模型训练的关键方法。

以下是更多GPG有关细节。

一、背景介绍

近年来，以OpenAI和DeepSeek R1为代表的LLMs模型表现亮眼，深究成功背后，是强化微调技术（RFT）联合现有强化学习方法（如PPO、GPPO）在激励模型构建严谨的推理链上发挥了关键作用。

但在面对高昂的训练成本与性能平衡，主流方法PPO也陷入巨大瓶颈，与此同时，其他研究团队也在尝试使用ReMax、GRPO等简化训练流程，并在性能上取得了很大的突破，但他们都依然存在一些问题。

研究团队认为，当前针对RL算法的优化都在围绕替代损失函数展开，但两个核心问题始终悬而未决：

1.能否绕过替代策略，直接优化原始目标函数？2.如何最大限度简化学习策略的设计？

由此，团队提出了GPG，其核心创新包括：

直接目标优化：摒弃传统替代损失函数设计，直接优化原始强化学习目标，突破算法效率瓶颈。极简训练架构：无需评论模型和参考模型支持，摆脱分布约束，为模型扩展性提供更大空间。精准梯度估计技术（AGE）：首次揭示现有方法的奖励偏差问题，提出轻量化且高精度的梯度估计方案，显著提升策略稳定性。单模态多模态任务SOTA验证：在数学推理、视觉理解、跨模态推理等任务中，GPG性能全面超越现有方法，验证其通用性与鲁棒性。

二、组策略梯度GPG方法1）方法对比

各种强化学习方法的比较，作者以最简单的形式解释：

下面是GPG方法和已有RL方法各个模块的对比：

2）GPG方法

GPG旨在解决在没有价值模型的情况下，策略梯度估计中的高方差问题。通过利用group-level的奖励，GPG稳定了训练过程并增强了强化学习训练的鲁棒性。

具体而言，GPG利用每个Group内的平均奖励来归一化奖励，从而有效降低方差。这个方法可以移除传统的价值模型，从而简化了训练过程并提高了计算效率。 GPG的名称反映了作者方法核心机制，即利用group-level的平均奖励来稳定和优化学习。

GPG的核心优化目标定义为：

作者提出的GPG方法通过组内优势函数计算梯度校正机制实现了高效稳定的策略优化。在优势函数设计上，采用组内奖励均值归一化方法

3）现有RL方法中的两个bias

优势函数中的bias

组内样本全对全错时，引入梯度估计的bias

针对组内全对/全错样本的梯度估计bias问题，GPG创新性地引入动态梯度校正因子。

实验表明该机制可使模型准确率从43.9%提升至47.8%，显著改善训练稳定性。

三、实验1）在单模态数据集上的结果

2）在多模态数据集上的结果

四、结论

在本文中，作者介绍了GPG，它有效地解决了强化微调方法（如PPO和GRPO）中现有的关键挑战。

通过将基于组内的决策动态直接纳入标准的PG方法，GPG简化了训练过程，并显著减少了计算开销，而不削弱模型效果。这一突破为训练能够进行复杂推理的先进LLM提供了更高效的框架，从而为更具资源效率和可扩展性的人工智能系统做出了贡献。

此外，团队将本文代码全面开源，希望促进技术透明化发展，也鼓励更多人参与到该项工作中来。

论文链接：https://arxiv.org/pdf/2504.02546代码链接：https://github.com/AMAP-ML/GPG

  时事1：别c我了～C烂了

  05月03日,国家发展改革委等部门联合印发《关于深化家政服务业产教融合的意见》,

　　“柳神，我可以修炼《原始真解》了吗？”小不点仰头，现在他七岁半了，身体高了不少，但是依旧稚嫩，大眼睛黑白分明，非常明亮。

,挺进老妇的肉泬m48w有奶小。

  05月03日,文化中国行·长江之歌丨烟火日常里，游出最威风最华丽的龙,

　　现在，农民群众的民主意识、法制观念、参政意识明显增强，对农村干部提出了新的更高要求。特别是农村干部祖祖辈辈生活在村里，与农民群众朝夕相处，一言一行，群众看得清楚。“公生明，廉生威”，老百姓最服的是一身正气的干部。村干部特别是村党支部书记要时刻绷紧廉洁自律这根弦，管住自己，管好班子，特别对本家本族，亲朋好友，不能搞亲亲疏疏。要严格执行民主集中制，自觉接受群众的监督。特别是要把村务公开、民主管理的各项制度落到实处，让、群众知道事是怎么办的，钱是怎么花的，使干部省心，群众明白，干部清白。要廉洁勤政，要有无私奉献精神，对自己要求严格，注重形象，树立在群众中的威信。

,散兵被摁在床上C了一天,作爱视颅,污污小说流水自慰。

  时事2：91久久亚洲精品国产码无

  05月03日,冬游西藏新风尚：藏装拍照、寄明信片成热门,

　　这就是洞天境，在人体内或者体外，开辟一个不朽的通道，或者净土，亦或是一片世界。

,4P被两个男人换着躁我小说,男人扒拉女人㊙️桶到爽,大乳美女裸体漫画。

  05月03日,东西问丨郭福祥：17、18世纪中法是怎样对望交流的？,　　中央要求谋划新一轮财税改革，税制改革是重头戏，未来增值税、消费税、个税等主要税种还将有进一步改革举措。笔者呼吁，在税收征管不断强化的同时，为促进企业、个人实际税负维持在合理水平，未来税制改革应当统筹考虑降低名义税率。,赵露思被到喷水18禁文,原神美女裸体被❌羞羞视频,女警脱👙给我揉🐻游戏。

  时事3：91丨九色丨蝌蚪刺激

  05月03日,3条时速350公里高铁建设，有重要进展！,

　　2、冬季锻炼要注意预防感冒。冬季天气比较冷，锻炼时要衣着合理，注意保暖，以防感冒。

,跪趴夹震蛋器到高潮H流好多牛奶,脱了内裤自慰喷水网站,JapaneseXXXJapanVideoXXX。

  05月03日,看非遗嘎木卓舞 感受传统文化魅力,

　　作为一个学生我可以逐渐的感受到学生会一直在努力一直在进步，作为一个学生会干部我们可以感受到，在这里我们得到了很大的锻炼，同时也成长了许多。一年里，那些关于学生会的记忆，历历在目就好像发生在昨天，对于这个我们共同努力建设、共同成长的集体，说句心里话其实真有点不舍。 在此我代表矿业工程系学生会，向支持与帮助过学生会的各位领导，各位老师表示衷心的感谢!向在座的各位关心、积极参与和营建这个大家庭的各位学子所做的工作表示欣赏与认可!

,《上司的少妇做爰HD》,12孩岁女被无套侵犯,旗袍美女被爆❌挤奶大胸。

  时事4：动漫女性裸奶

  05月03日,加强研究性修缮 推动预防性保护（深阅读）,

　　保护环境，从我做起;低碳生活，方法多多：

,国产做受❌❌❌入口,中国熟妇HD茸毛毛户外,啊～用力啊～～～内射欧美。

  05月03日,上海-旧金山友城经贸合作交流会：共叙友谊 共话合作,

　　今天，区委办公室在此召开全区党委系统办公室工作会议，刚才，时阳同志认真总结了20xx年全区党委系统办公室工作，具体部署了20xx年各项任务，希望大家结合实际抓好落实。下面，我就党委系统办公室工作如何为经济社会发展服务，谈三个方面问题。

,董卿被黑人狂躁A片,黑人巨大进入袖珍女,18🔞捏捏胸🐻👙免费看。