跳到正文
GitHub · 灵魂体仓库·· 6 天前AI 评分46

灵魂体仓库开源 eval-service:跨项目 LLM 用量与基准评测平台

amagarzogonzalo/eval-service

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/amagarzogonzalo/eval-service

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 eval-service 进入 public-beta candidate,提供语言无关的可复用平台,通过统一接口收集多个项目的 LLM 用量,并评估 LLM 应用的质量与性能,支持跨项目一致比较模型、提示词、成本、延迟和可靠性。平台由 Rust 引擎驱动,可评测 Python、Rust、LangGraph 等异构项目,检测回归并解释决策;用量追踪按项目、模型、provider、任务和天聚合 token、延迟、错误和成本,支持 `eval run --sandbox docker` 隔离执行、OpenAI 兼容回环 proxy、离线 cassette 重放和静态 HTML dashboard。

来源:GitHub · 灵魂体仓库 · github.com