跳到正文
Reddit · r/LocalLLaMA· /u/Think-Investment-557·· 10 天前AI 评分36

28 KB 激活探针可判断 AI 智能体是“准备待审”还是“直接执行”

I said “help me apply.” The AI agent heard “submit it without showing me.”

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Think-Investment-557

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x82kdx/i_said_help_me_apply_the_ai_agent_heard_submit_it/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位开发者训练了一个仅 28,708 字节的 logistic 激活探针,用于区分用户是让智能体准备动作还是批准执行。在 3,000 个测试样本上探针达到 0.8137 AUROC,高于同数据训练的文本分类器的 0.7897(p=0.0150)。测试中 MiniCPM5-1B 表现最好,有效信号来自第 13、14 层中间输出而非最后一层,探针可作为硬权限门之外补充的意图判断信号。

来源:Reddit · r/LocalLLaMA · reddit.com