GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分56
devin-evals：基于 Devin 会话记录的确定性 Agent 评测框架
Icaro0310/devin-evals
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Icaro0310/devin-evals
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Icaro0310 发布开源项目 devin-evals，一个针对 Devin Agent 工作的评测框架，通过定义带评分标准的用例，回放 Devin 已记录的会话并按时间打分，为「Agent 是否变好」提供数字信号。
推荐理由
这个评测框架用 Devin 会话里已记录的 tool_call_state 做确定性打分，把提示词改动后的回归信号变成可复现的数字。
来源：GitHub · 去对齐工具与仓库 · github.com