猫眼电影记者 姚小蔓 报道w3u7903ejky2ywls

机器之心发布

机器之心编辑部

上下文长度达 13 万 token，适用于多段文档综合分析、金融、法律、科研等复杂领域任务。

近期的推理大模型（LRMs）通过强化学习（RL）展现出强大的推理能力，但这些改进主要体现在短上下文推理任务中。相比之下，如何通过强化学习扩展 LRMs 以有效处理和推理长上下文输入，仍然是一个尚未解决的关键挑战。

来自阿里巴巴通义实验室的团队首先形式化定义长上下文推理强化学习范式，并识别出其中的两个核心挑战：次优的训练效率与不稳定的优化过程

针对这些问题，团队提出QwenLong-L1长上下文推理强化学习框架，通过渐进式上下文扩展策略逐步提升模型在长上下文推理任务上的表现，最终在多个长文档问答 benchmarks 上，QwenLong-L1-32B 表现卓越，不仅超越 OpenAI-o3-miniQwen3-235B-A22B等旗舰模型，更与 Claude-3.7-Sonnet-Thinking 性能对标

主要贡献

1. 定义长上下文推理强化学习范式

区别于短上下文推理强化学习促进模型利用内部知识推理，长上下文推理强化学习需要模型首先定位外部关键信息然后整合内部推理

2. 识别长上下文推理强化学习关键问题

长上下文推理强化学习训练效率低，具体表现在（a）奖励收敛较慢，（b）模型输出熵的显著降低，限制了优化过程中的探索行为。同时，长上下文推理强化学习训练不稳定，具体表现为（c）KL 散度突刺较多，这是由于（d）较长的输出长度和不均匀的输入长度导致方差变大，导致策略更新不稳定。

3. 构建 QwenLong-L1 长上下文推理强化学习框架

基于渐进式上下文扩展技术混合奖励机制，QwenLong-L1 通过强化学习实现了从短文本到长文本的稳定上下文适应。

4. 开源 QwenLong-L1-32B 长上下文文档推理大模型

与前沿长上下文推理大模型相比，QwenLong-L1-32B 实现了显著的性能提升，相较于 DeepSeek-R1-Distill-Qwen-32B 平均提升7.8%，不仅超越OpenAI-o3-miniQwen3-235B-A22B等旗舰模型，更与 Claude-3.7-Sonnet-Thinking 性能对标，为长文本推理优化提供了基础性技术方案，

核心技术

基于传统的短上下文推理强化学习框架，QwenLong-L1 主要提出如下改进：渐进式上下文扩展技术和混合奖励机制。

渐进式上下文扩展技术

训练长上下文推理大模型存在不稳定的优化动态特性。为解决这些问题，我们提出了一种渐进式上下文扩展框架，该框架包含：课程引导的分阶段强化学习策略以稳定从短到长上下文的优化过程；难度感知的回顾采样机制，优先探索复杂实例；以及稳定的监督微调预热阶段，在强化学习训练前提供稳健的初始化基础。

稳健的监督微调预热：使用蒸馏的长上下文推理数据在强化学习前监督微调模型，获取稳定的初始策略，降低训练过程中的不稳定。

课程引导的分阶段强化学习：将强化学习训练分为两阶段，阶段 I 输入长度 20K，阶段 II 扩展至 60K，逐步适应长上下文。每阶段仅训练当前长度区间的样本，避免混合长度导致的优化冲突。

难度感知的回顾采样：根据样本平均奖励动态计算难度，低奖励样本（高难度）被优先保留至后续阶段。阶段 II 训练时，包含阶段 I 的高难度样本，强制模型持续探索复杂案例。

混合奖励机制

在数学、编程和逻辑推理等短上下文推理任务中，先前的研究工作通常采用基于规则的奖励函数。然而，开放域问答等长上下文推理任务因其固有的答案多样性带来了独特挑战。在这种情境下，限制性过强的基于规则的奖励机制可能会制约有效答案的多样性，从而可能影响整体性能。针对这些局限性，我们提出一种融合规则验证模型评判的混合奖励机制，通过互补性评估实现精确率与召回率的平衡。

规则奖励：通过正则表达式从模型输出中提取答案，与标准答案严格匹配。确保答案格式正确性，防止 Reward Hacking。

模型评判：训练过程采用 Qwen2.5-1.5B-Instruct 作为轻量级评判模型，评估预测答案和标准答案之间语义等价性。

组合策略：最终奖励取规则与模型评判的最大值，兼顾精确性与答案多样性。

实验发现

主实验结果

相较于 SFT，RL 性能提升显著：仅需 1.6K 高质量样本在 R1-Distill-Qwen 模型上 RL 后提升明显，14B 模型平均提升 4.1，32B 模型平均提升 5.1。

在国内外旗舰推理模型中处于领先地位：

QwenLong-L1-14B 模型平均 Pass@1 达到 68.3，超越 Gemini-2.0-Flash-Thinking, R1-Distill-Qwen-32B, Qwen3-32BQwenLong-L1-32B 模型平均 Pass@1 达到 70.7，超越 QwQ-Plus, Qwen3-Plus, OpenAI-o3-mini, 与 Claude-3.7-Sonnet-Thinking 持平

Test-Time Scaling 性能明显：QwenLong-L1-14B 模型平均 Pass@2 达到 73.7，超越 DeepSeek-R1 (Pass@1, 72.1), OpenAI-o1-preview (Pass@1, 72.9)

SFT 与 RL 的权衡

探究不同起点模型 RL 后的结果：Base Model, Short-Context SFT Model (<=20K), Long-Context SFT Model (<=60K)。

有趣发现：

SFT 和 RL 发挥着互补作用，SFT 较低代价到可接受性能，而 RL 对达到最佳结果至关重要；要实现最优性能，必须优先考虑 RL 而不是 SFT，因为过度关注 SFT 可能使模型陷入局部最优，从而限制 RL 提升；

长上下文推理行为的涌现和变化

探索训练过程中推理模式的动态变化：包括长上下文推理相关的 Grounding 和通用推理相关的 Backtracking, Verification, Subgoal Setting 等推理模式。

有趣发现：

所有模型都表现出明显的各类推理模式，且长上下文相关的 Grounding 出现频率最高RL 自然地使这些推理模式出现频率越来越高，最终性能也会随之增长SFT 尽管让推理模式取得了远高于 RL 的增加，但转换成的性能提高相较于 RL 有限

结论

这项研究通过强化学习探索了长上下文推理大模型的开发。其首先提出长上下文推理强化学习范式，并发现次优的训练效率和不稳定的优化过程等关键问题。

为应对这些挑战，研究团队推出 QwenLong-L1，一个渐进式上下文扩展强化学习框架。实验结果表明 QwenLong-L1 在业界领先的长上下文推理大模型中表现优异。其中，QwenLong-L1-14B 性能超越 Gemini-2.0-Flash-Thinking 和 Qwen3-32B，而 QwenLong-L1-32B 超越 OpenAI-o3-mini、Qwen3-235B-A22B，甚至与 Claude-3.7-Sonnet-Thinking 达到同等水平。

我们的分析揭示了长上下文推理强化学习的三项关键洞察：渐进式上下文扩展对实现稳定适应的重要作用、优先强化学习对最优性能的必要性，以及强化学习训练过程中长文本推理模式的增加对性能提升的促进作用。

  时事1：脱👙让学生c🐻-百度

  06月02日,海地安全局势恶化之际，回国遇阻的总理亨利辞职,

在村干部培训班上的讲话 篇14

,com,www。

  06月02日,航拍雄安自贸试验区交流展示中心,

　　宝骨莹莹发光，散发瑞霞，弥漫出混沌气，小不点这一次是如此的祥和宁静，完全的投入了进去。

,王者同人18❌动漫免费网站,小豆豆怎么自慰最爽,欧美老妇中国老妇。

  时事2：JavapHD学生

  06月02日,这样的“代驾”不可取！酒后启动“辅助驾驶” 出车祸断了两根肋骨,

　　各位领导、同志们：

,屁股眼里灌风油精的女人性格特点,Free HD XXXX Tube HD,学生的下面隐私㊙️图片。

  06月02日,美欧相继出台涉华经贸限制措施 中国贸促会：违背世贸规则 中国工商界坚决反对,

　　石云峰没让他这么做，因为小不点修行速度太快了，小小年纪已经走完了很多人一生的道路，令人难以置信。他觉得，现阶段要让石昊夯实根基，等柳神复苏后，听取它的建议。

,黑卡蒂裸体无打码,18🈲流白浆❌❌舌吻,91在线无码精品㊙️黑桃。

  时事3：宝宝⋯腿张大点就不疼了

  06月02日,通用电气（GE）医疗在天津启动创新研发中心建设,

　　三是抓住关键，重点突出 。当前农村工作的主要任务就是发展农村经济、增加农民收入、保持农村稳定。这次培训我镇就是紧紧围绕这一主题，抓住了同志们的所需、所想。重点突出解放思想和加强基层组织建设，加深了同志们对xx大的解读和科学发展观的认识，使同志们进一步掌握了村级规范化管理、农村基层党组织建设、党风廉政建设等方面的知识，为下一步更好地开展各项工作、贯彻上级和镇党委的工作部署奠定了良好基础。 四是态度端正，学习刻苦。本期镇村干部培训班学风好，所有参训人员学习积极性高。大家都十分珍惜这次学习机会，在两天的学习中始终保持高涨的学习热情，真正做到从干部到学员，从工作到学习，从家庭生活到培训生活的角色转变，学习态度端正，在学习中，同志们始终坚持理论联系实际的学风，着眼于对实际问题的理论思考，紧密联系自身工作实际，刻苦自学，思考问题，交流经验，认真钻研，力求学懂弄通理论，表现出极高的学习积极性和刻苦精神。

,女人浴室光屁股洗澡视频,樱桃视频极品御姐在线,裸体 惩罚 拍击 打屁股视频。

  06月02日,东西问｜干春松：东西方文明如何更好地“借鉴彼此”？,

　　家人们，相信我们的成功绝对不是偶然，今年开春以来，我们公司整个工作氛围有了很大的改变，又好像回到我们东京三年前的那种火爆的埸面，个个都非常积极，很想做好，对目标欲望也非常强，形成你追我赶，激情澎湃的工作状态，今年我们公司增加了很多新的家人，他们的加入前经过总监与李萍小明领导的培育下，以及师傅们的帮助下，很快就融入到我们的大家庭，并且能在较短的时间内为公司创造价值，他们的努力为我们公司的发展注入了新的活力，这就是培训学习的力量，希望我们领导一如继往的重视对员工的培训，相信这也是能帮助员工提高业绩最有效的的方法，要想打胜仗，就要训练出一支会打胜仗的兵!在此再次向三位领导老师们，师傅们致敬，你们辛苦了。

,桥本香菜黄片,体育生白袜爆🌿小受睾酮,黑人巨大撕裂。

  时事4：浪货今天就把你🌿到舒服男男

  06月02日,沪宁合高铁项目扬州东站道岔现浇梁完成浇筑,

　　老师们、少先队员们：

,灰原嗯～啊～轻,魈把温迪的腿摆成一个m形状,罗宾爆乳露双奶头被❌。

  06月02日,韩国一传统市场发生重大火灾 227家店铺被烧毁,

　　各位领导、农民朋友们：

,陈冠希合集pdf网盘资源,免费无码婬片AAAA片麻豆,浪小辉武警酒店2023最新消息。