arXiv · cs.CL· Zhongping Ji·· 20 天前AI 评分40
HySPE：基于辛对偶剪切的超双曲位置编码
HySPE: Positional Encoding via Symplectic Dual Shears
来源与原文
arXiv · cs.CL
作者：Zhongping Ji
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10154v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Hyperbolic Symplectic Positional Encoding（HySPE），利用 Sp(2,R) 的双曲分支取代 RoPE 的旋转参数化，通过特征基对角化和分块坐标重定基实现与长度无关的数值界，缓存前向延迟与 RoPE 持平（RTX 4090 上 7.21 ms）。在 TinyShakespeare 上，HySPE-UltraLong 在 16 倍零样本外推（L=4096）时困惑度保持 4.810，而 RoPE 退化至 131.198；51M 参数 Transformer 在 WikiText-103 上外推到 8192 长度时，尾部困惑度较 RoPE 降低 83.9%。大规模基础模型上的扩展性评估仍是未来工作。
来源：arXiv · cs.CL · arxiv.org