跳到正文
GitHub · 灵魂体仓库·· 17 天前AI 评分42

llm-benchmarks:一个终端里跑 Inspect、Visual Bench 与 Data Science 三类基准的工具

eeshansrivastava89/llm-benchmarks

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/eeshansrivastava89/llm-benchmarks

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 llm-benchmarks 提供 bench 命令,从同一终端工作流运行三套基准:基于 Inspect 的 evals、让 Pi 生成浏览器工件的 Visual Bench,以及让 Pi 分析数据集并产出 notebook 的 Data Science。Pi 负责服务商连接、模型目录与认证,Inspect 执行任务并生成 .eval 日志,本地服务器通过 /v1/models 提供模型清单。运行在 OS 级写入隔离下进行,需 Node.js 22.19+、Python 3.12、uv、Pi 与 Chromium。

来源:GitHub · 灵魂体仓库 · github.com