arXiv · cs.CL· Chaemin Jang·· 12 天前AI 评分50
用无标签子空间分离语言模型的判断能力(arXiv 论文)
Isolating a Language Model's Judgment with a Label-Free Subspace
来源与原文
arXiv · cs.CL
作者:Chaemin Jang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21256v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究发现,语言模型在不同指令下答案可靠性下降主要源于表达变化而非内部判断改变:同一输入在不同指令下的隐藏态差异集中于一个低维“表达子空间”。研究者在无 benchmark 标签条件下识别并移除该子空间的影响,分离出的判断在未用于识别子空间的指令下保持可靠。当判断问题被否定时,该方法将线性预测器的 AUROC 从 0.504 提升至 0.825(entailment),从 0.480 提升至 0.891(safety)。
来源:arXiv · cs.CL · arxiv.org