跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分65

hundredeuk2 发布 judge-adapter:LLM 评审的 pairwise 对比适配器

hundredeuk2/judge-adapter

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hundredeuk2/judge-adapter

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 用户 hundredeuk2 发布 judge-adapter,输入一个问题(一或两轮)和两个回答,输出 A、B、平局或显式错误,并记录每次调用,采用 Apache-2.0 许可。核心仅依赖 httpx,提供 JSONL CLI、Python API 和可选 FastChat llm_judge 绑定(MT-Bench 式 pairwise 评审),支持 rubric 和参考答案(随版本与 sha256 一起记录)。默认使用 fake 传输,真实调用需 --allow-real、--max-submissions 和 --budget-cap-usd,失败不重试、不折算成平局,密钥经清洗器移除。作者说明该包本身未对真实模型跑过,仅作 mock 测试。

推荐理由

原文详细写明了调用记录、成本上限、密钥清理和 FastChat 绑定的具体做法,读者可以直接复用这套评测工程方案。

来源:GitHub · 去对齐工具与仓库 · github.com