GitHub · 灵魂体仓库·· 6 天前AI 评分46
灵魂体仓库开源 eval-service:跨项目 LLM 用量与基准评测平台
amagarzogonzalo/eval-service
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/amagarzogonzalo/eval-service
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 eval-service 进入 public-beta candidate,提供语言无关的可复用平台,通过统一接口收集多个项目的 LLM 用量,并评估 LLM 应用的质量与性能,支持跨项目一致比较模型、提示词、成本、延迟和可靠性。平台由 Rust 引擎驱动,可评测 Python、Rust、LangGraph 等异构项目,检测回归并解释决策;用量追踪按项目、模型、provider、任务和天聚合 token、延迟、错误和成本,支持 `eval run --sandbox docker` 隔离执行、OpenAI 兼容回环 proxy、离线 cassette 重放和静态 HTML dashboard。
来源:GitHub · 灵魂体仓库 · github.com