猫眼电影记者 佘诗曼 报道w3u7903ejky2ywls

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。

对于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。

并且可直接应用于现有模型（如Qwen-2.5），无需从头训练。

这就是阿里通义团队提出的PARSCALE。

目前LLMs的优化主要有两种思路：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增加内存和时间成本。

阿里通义团队提出的新范式受CFG（无分类器引导）双路径推理机制的启发。

他们将CFG的并行思想从 “生成阶段的推理优化” 扩展为 “训练和推理全流程的「计算缩放」”。

让我们来扒一扒技术细节。

将CFG的并行思想扩展到计算缩放PARSCALE对于CFG双路径的灵感迁移

CFG 通过同时运行有条件生成（输入提示词）和无条件生成（不输入提示词）两条路径，再通过加权平均融合结果，提升生成质量（如文本相关性、图像细节精准度）。

其核心在于利用并行计算（两次前向传播）增强模型决策的多样性和准确性，而无需增加模型参数。

研究人员观察到CFG的有效性可能源于计算量的增加（两次前向传播），而非单纯的条件引导。

由此提出假设：并行计算的规模（如路径数量）可能是提升模型能力的关键因素，而非仅依赖参数规模或推理时间的串行扩展（如生成更多token）。

CFG用2条并行路径提升性能，PARSCALE则将路径数量扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行计算成为一种可扩展的 “计算缩放” 范式。下图展示了PARSCALE方法。

PARSCALE改进的并行计算框架

1、输入层：可学习的多路径输入变换

核心改进是将CFG的固定双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入生成差异化输入。

前缀嵌入生成：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注意力层中，不同路径的键（K）和值（V）缓存相互独立，确保各路径的计算互不打扰，增强输出多样性。

2、计算层：并行前向传播

并行执行：将P个差异化输入同时输入模型，利用GPU的并行计算能力，一次性完成P路前向传播，生成P个输出流。效率优势：通过批量矩阵运算实现P路并行，计算效率随P线性增长，共享模型主体参数，仅增加前缀嵌入等少量可训练参数。

3、输出层：动态加权聚合

通过多层感知机（MLP）动态计算各路径输出的聚合权重，替代 CFG 的固定权重机制：若某路径输出与当前输入语义匹配度高，MLP 会为其分配更高权重。

PARSCALE更高效

PARSCALE vs. 参数扩展

当P=8时，1.6B参数模型在HumanEval的性能（Pass@1=39.1%）接近4.4B参数模型（Pass@1=45.4%），但内存占用仅为后者的1/22，延迟增加量为1/6。

在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%（相对基准），显著高于参数扩展的增益。

两阶段训练策略

阶段1：用传统方法预训练模型至收敛（1Ttokens）。

阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。

P=8模型在GSM8K上提升34%，且与从头训练效果相当，证明少量数据即可激活并行路径的有效性。且该策略使训练成本降低约 98%

适配现有模型

研究团队在Qwen-2.5-3B模型上进行持续预训练和参数高效微调（PEFT），仅调整前缀和聚合权重。

结果显示，在代码生成任务（HumanEval+）中PEFT 方法使Pass@1提升15%，且冻结主体参数时仍有效，证明动态调整 P 的可行性。

PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的计算缩放范式。

感兴趣的朋友可到官方查看更多细节～

论文链接：https://arxiv.org/abs/2505.10475代码地址：https://github.com/QwenLM/ParScale参考链接：https://x.com/iScienceLuvr/status/1923262107845525660

— 完 —

  时事1：AngelinaJolie激情AV片

  06月03日,中新健康｜专家：进入靶免治疗时代 肿瘤治疗机遇与挑战并存,

　　1、要注意交通安全。

,女人的隐私㊙️视频免费。

  06月03日,和谐共生｜我们的生活与“碳”有什么关系？,

　　“柳神，你是说，我体内的至尊骨还有再生之日吗？”小不点大眼明亮，挂着泪水，于稚嫩中带着蓬勃的朝气。

,《勃起》无删减版,林书辞作品大全免费观看,武警体育生榨精XXXGAY网站。

  时事2：成 人 免费 黄 色 网站在线观看

  06月03日,浙江小伙在荷兰开火锅连锁店：让“中国味”走向世界,

　　“小紫再让我看一看，从大鹏还有小青那里得到印证，我似乎有点懂了。”石昊抱住紫云的脖子，眼睛明亮，像是明悟到了很多东西。

,小情侣18🈲被偷拍免费观看,人与野鲁HD,亚洲XXXX3d白丝。

  06月03日,“喜剧片”与“熟面孔” 电影春节档预售开启,

　　“呀，不好，柳神让我压制一个月，自然有其道理，现在这样破入那个层次不太好呀。”小不点一惊。

,玩12—14女娃黄文,掉落电动小玩具志远后续,超短女仆套装跳舞视频。

  时事3：鲍鱼直播

  06月03日,第十三届藏传佛教教义阐释研讨会在北京举行,

　　二、立足区域，做好支持企业发展的伙伴银行

,美女裸被C出浆✘✘✘✘中国,孕妇胸的隐私㊙️图片高清,成人p站proumb入口。

  06月03日,首届世界南少林咏春拳大赛落幕,

　　四要狠抓工作落实。如何推动工作落实，如何抓出工作实效，是对我们发展能力的检验。抓落实，关键是“抓”。抓是责任心的表现、是执行力的要求。要转变工作方式方法，亲自抓、负总责，既要当好指挥员，更要当好战斗员，化压力为动力、变不能为可能、变可能为现实，以更加宽广的视野、超越自我的勇气赢得加快发展的先机，抓住关键点，干出大名堂。抓落实，核心是“落”。就是要确保镇党委、政府的决策部署件件有着落，事事有回音，横向到边、纵向到底，切忌喊在嘴上、说在会上，停在动上。抓落实，最终要看“实”。有没有抓落实，会不会抓落实，最终要看是不是见到实效。衡量和评判的重要标准，就是要看镇党委、政府的保稳定、促发展、重民生的各项决策部署是否落到实处，党委政府是否满意，人民群众是否满意。

,爽⋯好大⋯快⋯深点奥特曼,老师把我添高潮了A片潘金莲,在车里被高潮被c了八次。

  时事4：无尽裸体玩尿孔

  06月03日,上海统一战线新年音乐会上演：2024团结再出发,

　　幽灵船摇动，但是并没有翻，石昊落在上面，浑身寒气飕飕，但总算避过了一场杀劫。

第二百三十七章 血染碧海,奇优❤️影院,女人张开腿桶进牛鞭,国产➕刺激➕高潮➕大学生。

  06月03日,新疆阿克苏地区乌什县发生3.9级地震 震源深度16千米,

　　众人哈哈大笑。

,动漫 妓女 巨乳 得到 3d,丰满岳乱偷高潮A片漫画软件,又黄又爽又色视频免费学生。