arXiv · cs.CL· Nicolás Vera Zúñiga·· 12 天前AI 评分46
面向字节级模型的新颖性分块：从压缩视角看算力应花在文本新增处
Patch where the text is new: a compression view of where byte-level models should spend compute
来源与原文
arXiv · cs.CL
作者：Nicolás Vera Zúñiga
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22100v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究提出 novelty patching，借鉴 LZ77 式压缩思路，让 Byte Latent Transformer（BLT）等字节级模型在即将出现不重复内容处开启新 patch，替代基于下一字节熵的分块规则。在 1.9 GB 数学语料上从头训练的 BLT 风格模型中，该方法在 12M 参数时将最终答案准确率从 47% 提升到 72%，50M 参数时计算结果准确率从 21% 升至 57%、最终答案从 60% 升至 90%；该规则只需在前两字节上拟合查找表，秒级完成且无需标签。在散文、代码等数学之外场景优势缩小。
来源：arXiv · cs.CL · arxiv.org