跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分76

runtape 开源:面向 AI 智能体的反事实调试与回归测试工具

RehanMohammed985/runtape

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/RehanMohammed985/runtape

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

runtape 在 GitHub 上开源,这是一个面向 AI 智能体的反事实调试工具:输入一次坏运行,它通过删除重跑定位导致错误决策的那段上下文,用统计检验确认原因,并自动生成 pytest 回归测试。示例中它把邮件助手误转发发票的行为追溯到供应商邮件 HTML 注释里的一句话,有该句 10 次重跑中 10 次转发,无则 0 次。在 AgentDojo 的 sarvam-105b 测试上,23 个注入攻击中它定位到 20 个,优于直接问模型(18)、leave-one-out(15);支持 OpenTelemetry、Langfuse 导入,兼容 OpenAI 和 Anthropic SDK、LangChain/LangGraph 及 Ollama、vLLM 等本地服务器。

推荐理由

原文给出了方法细节、显著性检验和 AgentDojo 实测对比,想对智能体做反事实归因和回归测试的读者可以参考其做法。

来源:GitHub · 灵魂体仓库 · github.com