跳到正文
GitHub · 灵魂体仓库·· 17 天前精选AI 评分62

benchlocal-cli v0.9 发布,用确定性判分为任意 OpenAI 兼容端点跑行为评测

noonghunna/benchlocal-cli

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/noonghunna/benchlocal-cli

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

noonghunna 发布 benchlocal-cli,一个面向任意 OpenAI 兼容端点运行 LLM 行为评测包的 CLI,采用确定性 verifier 判分而非 LLM-as-judge。v0.9 加入 aider-polyglot-30(基于 Aider-AI/aider 的 benchmark.py,覆盖 cpp/go/java/js/python/rust 共30题),并内置 BenchLocal 的8个 MIT 许可评测包、可选推理套件(HumanEval+、LiveCodeBench v6、GSM-Symbolic、GPQA-Diamond)。

推荐理由

README详述了各评测包、确定性判分器和Docker沙箱机制,可了解如何在CI中给量化模型做可复现的质量门槛。

来源:GitHub · 灵魂体仓库 · github.com