arXiv 预印本提出干预式训练以减少语言模型内省中的因果绕过
热点事件观察中
arXiv 预印本提出干预式训练以减少语言模型内省中的因果绕过
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Zilu Tang 等在 arXiv 预印本（arXiv:2610.38911）中提出，直接用 SFT 训练语言模型进行内省会引发“因果绕过”，即自报告依赖与对象相关但无因果关系的信息。作者在 3 类低层信号和 8 个语言模型上训练数百个内省器，并提出干预式训练方法，让模型报告反事实扰动后的值。
AI 根据报道生成 · 57 分钟前更新
最新进展10月29日 05:04
干预式训练减少大语言模型内省中的因果绕过报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv · cs.CL干预式训练减少大语言模型内省中的因果绕过
一项 arXiv 预印本研究发现，直接用 SFT 训练语言模型进行内省会引发“因果绕过”，即自报告依赖与对象相关但无因果关系的信息。作者在 3 类低层信号和 8 个 LM 上训练数百个内省器，并提出干预式训练——让模型报告反事实扰动后的值。该方法提升了对内生与注入信号的内省精度，在分布外数据上表现尤佳，且机制可跨 token 位置泛化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。