GlitchPatch:通过局部重切分修复冻结语言模型中的 Glitch Token
arXiv 论文 2610.04399 提出 GlitchPatch,一种针对冻结语言模型的 glitch token 修复框架,离线阶段用 Behavioral Path Optimization(BPO)为每个 glitch token 找到行为最优替换序列并编译成规则表,在线阶段仅替换匹配的 token ID,不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上,平均修复率达 85.10%,比最强基线高 14.37 个百分点,平均 glitch 率从 14.88% 降至 2.27%,全词表评估中 RR 为 0.00%,规则未匹配的输入保持不变。
推荐理由:论文提出不动模型参数的 glitch token 修复框架,并给出十个模型的修复率与副作用数据,方法可复现。