跳到正文
GitHub · 灵魂体仓库·· 5 天前精选AI 评分59

@goodit/evals 发布:把 LLM 功能评测跑成 Bun 测试的开源框架

neoromantic/evals

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/neoromantic/evals

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

neoromantic 发布 @goodit/evals,一个把 eval 文件作为 Bun 测试运行的 LLM 功能评测框架,记录 scorer 指标与 token/延迟数据,并支持基线对比报告。该项目已进入维护模式,只做 bug 修复和依赖更新,不再新增功能;要求 Bun >= 1.3.9,peer 依赖 ai >= 6 和 zod,内置 ExactMatch、Contains、LLM judge 等 scorer,支持 Facts() LLM 判分、evalSuite.each 变体对比和 --json 机器可读输出,MIT 协议开源。

推荐理由

作者给出了把 LLM 功能评测跑成 Bun 测试的完整方案,scorer、基线对比与 token 延迟拆分都可直接迁移到自己的项目。

来源:GitHub · 灵魂体仓库 · github.com