研究称语言模型会保留已放弃句法分析的残留

arXiv 论文（arXiv:2610.36797，作者 Xiang Ding）考察语言模型是否会继续使用已放弃的句法分析，结论是会：在 124M 至 70B 参数的 24 个开源模型中，花园路径句会在上下文留下两道痕迹——被放弃分析的残留使后续宾语附着提升约达真实宾语句效应的四分之三，对已消歧结构的适应则与消歧错误大小成正比。 Activation patching 显示，残留来自名词短语在消歧前按宾语分析计算的状态，替换这些状态可基本消除 32B 和 70B 模型中的残留；此外被更正的陈述在 9 个模型中的 8 个里仍持续拉动后续预测。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。