跳到正文
GitHub · 去对齐工具与仓库·· 13 天前精选AI 评分60

One Query Away 研究项目:LLM 监控模型不查证免罪记录就指控 Agent

ebt55/one-query-away

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ebt55/one-query-away

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Ebin Babu Thomas 在 Apart Research Swarm Alignment Hackathon 上发布 one-query-away 项目,构造三种可见日志完全相同的工作流场景,测试 LLM 监控模型是否会查询系统状态中能洗清嫌疑的审批记录。结果显示 Claude Sonnet 5.5 误判 25/30、GPT-4.1-mini 误判 28/30、DeepSeek Flash 误判 30/30 的免罪 Agent,120 次错误指控无一发生在查询过免罪记录之后;一个强制先取审批记录的路由器在全部 30 组场景成功,而通用的查证后再指控指令仅从 4/30 升到 7/30(p = 0.375)。

推荐理由

作者公开了预注册协议、原始运行记录和离线验证脚本,读者可以自己复算这些监控误判率而不必只信报告。

来源:GitHub · 去对齐工具与仓库 · github.com