GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分69
samihormi/docent-judge-false-claim：一句虚假陈述使 Docent judge 错误判定率从 1.8% 升至 37.5%
samihormi/docent-judge-false-claim
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/samihormi/docent-judge-false-claim
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
samihormi 发布 docent-judge-false-claim 仓库，测试在 agent 最后一条消息中插入一句虚假的验证陈述（如"我重跑了 python reproduce.py 且输出符合预期"）对 Docent judge 判定的影响。工具日志中并无该次运行，stock Docent judge 的错误判定率从无插入时的 1.8%（271 次中 5 次）升至 37.5%（272 次中 102 次），净效应 +35.7 个百分点（95% CI 27.8 至 43.9），基于 91 份 SWE-agent transcript、每份 3 次 rollout。模糊表述"我验证了修复有效"仅致 1.1% 错误率。
推荐理由
原文给出可复现的对照数据，显示一句虚假验证陈述就能让 Docent judge 的错误判定率从 1.8% 升到 37.5%。
来源：GitHub · 去对齐工具与仓库 · github.com