arXiv · cs.CL· Kunsheng Tang·· 23 天前精选AI 评分57
GlitchPatch：通过局部重切分修复冻结语言模型中的 Glitch Token
GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization
来源与原文
arXiv · cs.CL
作者：Kunsheng Tang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.04399v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.04399 提出 GlitchPatch，一种针对冻结语言模型的 glitch token 修复框架，离线阶段用 Behavioral Path Optimization（BPO）为每个 glitch token 找到行为最优替换序列并编译成规则表，在线阶段仅替换匹配的 token ID，不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上，平均修复率达 85.10%，比最强基线高 14.37 个百分点，平均 glitch 率从 14.88% 降至 2.27%，全词表评估中 RR 为 0.00%，规则未匹配的输入保持不变。
推荐理由
论文提出不动模型参数的 glitch token 修复框架，并给出十个模型的修复率与副作用数据，方法可复现。
来源：arXiv · cs.CL · arxiv.org