跳到正文
arXiv · cs.CL· Marcus Armstrong·· 20 天前精选AI 评分55

研究揭示语言模型答案如何通过承诺方向影响后续回答

Written Once, Read Differently How Language Models Own Answers Steer Their Next Ones

来源与原文

arXiv · cs.CL

作者:Marcus Armstrong

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.03198v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文研究了 22 个开源权重模型(0.5B–72B,四个家族)中首个答案改变第二个答案的自我承诺现象,基于 120 个实体的 3,600 个问题对。答案会向残差流写入承诺方向,两个问题的方向相似度可预测其耦合(ρ=0.43–0.85),消融该方向最多仅剩 17% 的效应;但读取该方向的方式随规模、指令微调和系统提示而变化,一个模型仅改系统提示即可反转回路符号。在 19 个指令微调模型中的 18 个上,保留 attention sink 地消融方向能去除大部分耦合且困惑度代价低于 1.3%。

推荐理由

论文用 3600 个问题对量化模型自我承诺效应的写入与读取机制,给出可跨模型比较的消融证据。

来源:arXiv · cs.CL · arxiv.org