arXiv · cs.CL· Anxin Guo·· 8 天前AI 评分35
重复字符串下的复制：从前缀匹配到位置哈希
Copying Under Repetition: From Prefix Matching to Position Hashing
来源与原文
arXiv · cs.CL
作者：Anxin Guo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26722v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文证明，采用 O(log log N)-bit 精度和 O(log N/log log N) 宽度的两层 Transformer，借助 RoPE 风格的 VO-rotation 结合中国剩余定理，可在任意重复字符串下正确复制并在边界 N 处终止。论文还给出宽度无关的不可能性结果：NoPE 和 ALiBi 的递归实现等加性注意力偏置架构在相同 token 连续复制超过饱和阈值后 logits 不再变化，与前沿 LLM 的终止错误相似。合成实验中，训练后的 VO 模型在长度约 5005（所选素数周期之积）内保持近乎完美的外推精度。
来源：arXiv · cs.CL · arxiv.org