跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分55

EvalPort 1.0.0-rc.5:LLM 评测互操作规范开源,提供 70 个框架适配器

adhabnr-ux/evalport

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/adhabnr-ux/evalport

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

adhabnr-ux/evalport 是一个可移植 LLM 评测规范的开源仓库,版本 1.0.0-rc.5,Apache 2.0 协议,让评测数据集在 DeepEval、Promptfoo、Inspect AI、OpenAI Evals 等框架间转换而不丢失语义。仓库含 70 个独立适配器包、14 个公开基准转换出的 22 个验证套件(8,012 条测试用例),evalport run CLI 支持 OpenAI 与 Anthropic 及 OpenAI 兼容端点,带 dry-run 成本估算;已列入 Inspect AI 社区扩展文档,并向 IBM/ares、ClawBench、PraisonAI 合并了上游 PR,TruLens 连接器 PR 尚未合并。

推荐理由

这是一个 LLM 评测互操作规范仓库,README 逐条核实了各框架的采纳状态与合并情况,可信度交代得比较少见地细致。

来源:GitHub · 灵魂体仓库 · github.com