GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分72
jeffgrover/llm-eval 开源 LLM Agent CLI 自动评测套件
jeffgrover/llm-eval
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jeffgrover/llm-eval
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 llm-eval 套件可自动评测 agent CLI 工具，支持通过 LM Studio、oMLX 或 llama-server 运行本地模型，以及 Anthropic、Google、Groq 等云端 API。它捕获性能指标、日志与生成物，生成自带报告和评分仪表盘，内置墙钟、token、成本上限和重复工具循环检测等失控保护，并用确定性评分对比 Pi、OpenCode、Crush、Claude Code、Codex 等 harness 在电梯与办公室两类 prompt 上的运行结果。
推荐理由
这套工具自动化对比 agent CLI 在本地与云端模型上的表现，给出了防失控和确定性评分的设计思路，可迁移到自建评测。
来源：GitHub · 去对齐工具与仓库 · github.com