猫眼电影记者 格桑 报道w3u7903ejky2ywls

长文本能力对语言模型（LM，Language Model）尤为重要，试想，如果 LM 可以处理无限长度的输入文本，我们可以预先把所有参考资料都喂给 LM，或许 LM 在应对人类的提问时就会变得无所不能。

但是，LM 通常只在较短窗长下进行训练，可能产生过拟合，只学习到指定范围内的位置关系，但是无法理解没学习过的位置关系。为了缓解这个问题，当下最流行的便是引入具有周期性的旋转位置编码（Rotary Position Embedding，RoPE）。由于周期性编码每间隔一定距离就会出现数值重复，所以 LM 可以使用在少数几个周期内学习到的经验泛化到更多的周期当中。

但奇怪的是，使用 RoPE 的 LM 依然难以直接在训练长度之外起效，必须依靠其他算法（如 YARN）来辅助其进行外推。 那么，到底是什么限制了 RoPE 的周期延拓，进而限制了 LM 的长度外推呢？

于是，清华大学讲席教授、上海AI Lab主任/首席科学家周伯文教授的团队对这一问题进行了深入探索，使用傅里叶分析工具解读了使用 RoPE 的 Transformer 模型长文本泛化能力不足的原因之一是 RoPE 带来的周期性延拓受到了频谱破坏的影响。进一步地，该文章提出的傅里叶位置编码（Fourier Position Embedding，FoPE）大幅提升了Transformer的长文本泛化能力。

论文标题：Fourier Position Embedding: Enhancing Attention’s Periodic Extension for Length GeneralizationarXiv 链接：https://arxiv.org/pdf/2412.17739代码链接：https://github.com/TsinghuaC3I/Fourier-Position-Embedding

研究亮点

发现 —— 频谱损坏限制周期延拓

作者们通过观察 RoPE 的公式可以发现，它为 Hidden States 的每一维都指定了单一的频率，并假设这一维度的语义信息按照这个波长影响其他位置的语义。所以，RoPE 周期延拓性的起效前提是 “Hidden States 的每一维只存在单一频率的语义”。如果每一维明明存在不同频率的语义，却仍然按照单一频率的波长来估计这部分语义的传递规律，RoPE 所带来的周期延拓将产生混乱，进而无法实现长文本泛化。

遗憾的是，在使用 RoPE 的 LM 中，这个假设只在 LM 的第一层中成立，但在后面的所有层中都不成立。因为后面的所有层中，每一维中都掺杂了除主频之外的其他频率分量，这个现象可以被称作频谱损坏（Spectrum Damage）。频谱损坏主要有三个来源：① 线性函数；②激活函数；③时域截断。

线性函数

激活函数

这个结论可以通过泰勒展开进行简单证明，也可以任意地推广到存在更多频率的情况。可以看到，经过线性层之后，每一维本就掺杂了多种频率。在经过激活函数之后，这种掺杂会变得更加严重。

时域截断

给定一个被截断为长度N的单频率函数

通过傅里叶变换可以得到（详见文末）这个函数的频谱是：

算法 —— 频域鲁棒性是长文本泛化关键

在以往的研究中，大家普遍认为只有 Attention 才会影响长度外推。但从上面的分析可以看出，整个模型中的线性层、激活函数和时域截断也都会对长度外推产生影响，并且是不利影响（也就是上文提到的频谱损坏）。为了改善频谱损坏对长文本泛化的不利影响，这篇论文提出了傅里叶位置编码（FoPE，Fourier Position Embedding）来提升模型的频域鲁棒性和周期延拓性，进而提升长文本泛化。

FoPE 的核心思想是 “打不过就加入”。考虑到线性层和激活函数可以带来更强的表征能力，时域截断又是受到硬件限制无法改变，FoPE 索性就仍然保留了各层中的频谱损坏，转而提出了对于频谱损坏更加鲁棒的位置编码。鲁棒性的提升主要源于两方面：① 既然每一维中不可避免的混杂其他频率的分量，那就干脆在一开始就把每一维都建模成一个傅里叶级数（Fourier Series）。即使这样的建模不会避免频谱破坏，FoPE 却可以在每一维中解码出更多频率的信息（利用三角函数的正交性）；② 既然极低频的分量周期过长，会导致这些频率分量的周期特性无法被学习到，那就将他们裁剪成频率为 0 的直流分量。考虑到直流分量的良好性质（既可以看作周期无限短，又可以看作周期无限长），这个新加入的频率既保证了周期性，又可以让每个词汇的信息向无限远的词汇传递；

综上，FoPE 的公式可以写作：

实验

进一步地，文章在困惑度、大海捞针准确率以及很多下游任务 Benchmark 对不同方法进行了对比，实验发现 FoPE 在这些任务上都有稳定的表现，在绝大多数远超过使用 RoPE 的模型。

潜在影响

论文中使用傅里叶工具得到的分析结论和算法可能存在更广泛的潜在价值，有潜力应用在更多的领域和任务：① AI 领域内：长视频生成、kv-cache 压缩、多模型协同等；② AI 领域外：语义通信、光计算和脑机接口。

作者简介：华尔默，清华大学博士生，研究方向是基础模型的架构设计与训练算法设计，在 ICML、ICLR、NeurIPS、ACL、EMNLP、COLM、AAAI 等顶级会议上发表过论文。

  时事1：舒淇性㐅XXX交完整版

  05月11日,护好湿地资源 释放生态红利（锚定现代化 改革再深化）,

　　上学期九年级 年级各项工作 得以 顺利 ，除了有领导的关心和支持，还因为有着一支敬业的班主任和老师队伍。但是，过去的成绩只能代表过去，在新的学期里，我们将以更多的热情和责任投入到工作中去。

,痴梦少女全集免费播。

  05月11日,120秒读懂中国式现代化,

　　“鼻涕娃接住。”小不点喊道，扔上了湖岸。

,原神甘雨裸体扒开屁股桶爽,HDPorn4kVideo8✅,国产做受❌❌❌视频。

  时事2：日本人妻被强A片无码

  05月11日,省卫健委主任，离任一年后被查,

　　(四)要倡导新风，做精神文明建设的“带头人”

,精品人妻无码一区二区三区李丽珍,亚洲色恨天,男生撕开内衣👙亲吻动画。

  05月11日,“十四冬”单板滑雪平行大回转青年组女子赛开赛,

　　“什么，我族真正的祖地？”几个老人都瞪圆了眼睛，那可不是一般的地方，有着太多的神秘与传说，石族祖先就是从那里走出的，开创了无尽辉煌，立下一个古国。

,qq卖片➕v,wallpaper网站入口埃及猫,久久久夜色精品亚洲AV图片西施。

  时事3：龟仙人❌18号禁漫画

  05月11日,推动高质量发展·权威发布｜广西：平陆运河各项建设进展顺利,

消防安全国旗下精彩 篇23

,91丨九色丨蝌蚪刺激,班长拉起胸让我的🍌伸进去动漫,女明星裸体❌开腿触摸。

  05月11日,美国计划制裁以军一部队？以色列总理：反对！,

　　二、牢牢把握新型城镇化的特点和规律，在更高起点上谋划张掖的城镇化建设

,美女扒开腿秘免费视频,海贼王娜美本子,国产精品㊙️麻豆免费。

  时事4：新娘乳裙抽插射

  05月11日,国台办：乐见更多台湾影迷、剧迷能够见到他们喜欢的大陆明星,

　　所有人都冲向两旁，快速逃命，那巨大的剑气居中切落，斩在这片净土的中轴线上，轰隆一声，宛若一挂银河砸下。

第二百章 心灵寄托之地,裸体裸乳被🍑无码打扑克动漫,原神同人黄油免费,甘雨被爆❌自慰爽naruto。

  05月11日,安徽：雪后黄山景迷人,

　　我们的生命像花儿一样美丽，也像花儿一样脆弱，花儿会有重时，但生命给予我们的只有一次。这个宝贵的生命是父母给的，我们都应该好好珍惜。同学们，不要以为灾难遥不可及，其实，它就潜伏在我们的身边，当你把老师的话抛在脑后时，当你不遵守校纪校规时，当你高兴得忘乎所以，一意孤行时……它悄悄地来了，它的将临必定让人痛苦，甚至一生。让我们牢记安全，遵守纪律，珍惜生命，创造我们美好未来!

,殴美女兽交在线视频,肉丝祙做爰XXXⅩ性视频,茄子视频app无限次观看。