跳到正文
GitHub · 去对齐工具与仓库·· 2 小时前精选AI 评分67

Calibre Labs 开源 Reforge AI Evals 技能库,指导编码智能体搭建产品评测

Calibre-Labs/reforge-ai-evals

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Calibre-Labs/reforge-ai-evals

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Calibre 联合创始人 Sandhya Hegde 和 Justin Bauer 开源了 reforge-ai-evals 技能库,让 Claude Code、Codex、Cursor 等编码智能体为 AI 产品搭建评测,包括评分标准、数据集、trace 分析、代码评估器和 LLM-as-a-judge 提示词。库内含 8 个步骤技能如 eval-rubric、trace-codes、llm-align,并附三个智能体的 worked examples;用户保留读 trace 和标注输出两步以校准 judge,建议手工标注 20-40 条输出后按 TPR/TNR 校准、目标均超 90%。技能通过 npx skills 安装,读写纯文件,无需评测平台账号,代码 MIT 协议。

推荐理由

原文给出从标注样本到按 TPR/TNR 校准 LLM judge 的完整流程和量化标准,可迁移到自己产品的 eval 搭建。

来源:GitHub · 去对齐工具与仓库 · github.com