GitHub · 去对齐工具与仓库·· 2 小时前精选AI 评分67
Calibre Labs 开源 Reforge AI Evals 技能库,指导编码智能体搭建产品评测
Calibre-Labs/reforge-ai-evals
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Calibre-Labs/reforge-ai-evals
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Calibre 联合创始人 Sandhya Hegde 和 Justin Bauer 开源了 reforge-ai-evals 技能库,让 Claude Code、Codex、Cursor 等编码智能体为 AI 产品搭建评测,包括评分标准、数据集、trace 分析、代码评估器和 LLM-as-a-judge 提示词。库内含 8 个步骤技能如 eval-rubric、trace-codes、llm-align,并附三个智能体的 worked examples;用户保留读 trace 和标注输出两步以校准 judge,建议手工标注 20-40 条输出后按 TPR/TNR 校准、目标均超 90%。技能通过 npx skills 安装,读写纯文件,无需评测平台账号,代码 MIT 协议。
推荐理由
原文给出从标注样本到按 TPR/TNR 校准 LLM judge 的完整流程和量化标准,可迁移到自己产品的 eval 搭建。
来源:GitHub · 去对齐工具与仓库 · github.com