Calibre Labs 开源 reforge-ai-evals 评测技能库
先了解这件事
Calibre Labs 联合创始人 Sandhya Hegde 和 Justin Bauer 开源了 reforge-ai-evals 技能库，用于指导 Claude Code、Codex、Cursor 等编码智能体为 AI 产品搭建评测，内容包括评分标准、评测数据集、trace 分析、代码评估器和 LLM-as-a-judge 提示词与校准。 技能库含 8 个步骤技能（如 eval-rubric、trace-codes、llm-align），并附三个智能体的示例。其中读 trace 和标注输出两步由用户保留，用于校准 judge：建议手工标注 20-40 条输出后按 TPR/TNR 校准，目标两项均超 90%。 技能通过 npx skills 安装，读写纯文件（markdown、CSV、JSON、HTML），无需评测平台账号；代码采用 MIT 协议，技能、模板、数据集和文档采用 CC BY 4.0。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选Calibre Labs 开源 Reforge AI Evals 技能库，指导编码智能体搭建产品评测
Calibre 联合创始人 Sandhya Hegde 和 Justin Bauer 开源了 reforge-ai-evals 技能库，让 Claude Code、Codex、Cursor 等编码智能体为 AI 产品搭建评测，包括评分标准、数据集、trace 分析、代码评估器和 LLM-as-a-judge 提示词。库内含 8 个步骤技能如 eval-rubric、trace-codes、llm-align，并附三个智能体的 worked examples；用户保留读 trace 和标注输出两步以校准 judge，建议手工标注 20-40 条输出后按 TPR/TNR 校准、目标均超 90%。技能通过 npx skills 安装，读写纯文件，无需评测平台账号，代码 MIT 协议。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。