arXiv · cs.CL· Xiang Ding·· 20 小时前AI 评分33
语言模型会保留被放弃的分析:花园路径句后的残留与适应
Language Models Keep Abandoned Analyses: Residue and Adaptation after Garden-Path Sentences
来源与原文
arXiv · cs.CL
作者:Xiang Ding
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.36797v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 一项研究考察语言模型是否会继续使用已放弃的句法分析:在 124M 至 70B 参数的 24 个开源模型中,花园路径句会在上下文留下两道痕迹——被放弃分析的残留使后续宾语附着提升约达真实宾语句效应的四分之三;对已消歧结构的适应则与消歧错误大小成正比。Activation patching 显示残留来自名词短语在消歧前按宾语分析计算的状态,替换这些状态可基本消除 32B 和 70B 模型中的残留;被更正的陈述在 9 个模型中的 8 个里仍持续拉动后续预测。
来源:arXiv · cs.CL · arxiv.org