arXiv · cs.AI· Huiting Liu·· 5 天前AI 评分32
超越因果掩码：审计与定位自适应序列模型中隐藏的未来 token 泄漏
Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models
来源与原文
arXiv · cs.AI
作者：Huiting Liu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31522v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项研究揭示了自适应残差路由解码器中隐藏的未来 token 泄漏如何制造虚假的架构进步：一个异常 24 层 checkpoint 将验证损失从基线的 3.5958 降至 1.4259，却未通过 prefix-invariance 审计，泄漏源自经动态路由查询路径广播的全序列摘要。两个独立训练的 12 层因果修复消除了可检测的泄漏，验证损失和参考困惑度回到对照水平。研究借助 LeakScore 等诊断工具指出，低 teacher-forced 损失须结合全模型因果检查与自由生成评估解读。
来源：arXiv · cs.AI · arxiv.org