跳到正文
arXiv · cs.CL· Kevin Yandoka Denamganaï·· 14 天前AI 评分47

自然语言自编码器的可监控性研究:识别与判别的差距

On the Monitorability of Natural Language Autoencoders: Identification vs Discrimination

来源与原文

arXiv · cs.CL

作者:Kevin Yandoka Denamganaï

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.18727v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文指出,自然语言自编码器(NLA)作为语言模型监督工具存在监控盲区:训练是生成式指称博弈,而监督部署是判别式博弈,二者的差距意味着 Activation Verbaliser 的解释能识别对应激活,却难以区分真伪描述。实验中,真描述在 320 次比较中全部胜过其他激活的描述,但面对仅差一个论断的流畅假描述胜率仅 60.2%(n=35,随机水平 50%);无关模型改写仅损失 2.1% 距离,排除了私有约定导致失败的可能。

来源:arXiv · cs.CL · arxiv.org