GitHub · 灵魂体仓库·· 20 天前精选AI 评分73
tuieval 发布:用自己的题目同测本地模型与 OpenRouter 前沿模型
ashe-wb/tuieval
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ashe-wb/tuieval
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ashe-wb 在 GitHub 发布 tuieval,一个让用户用自己的 eval packs 同时评测本地模型(llama.cpp GGUF、LM Studio、Ollama、vLLM)和 OpenRouter 前沿模型的工具,同时测量准确率、速度和 token 用量,给出 PASS / FAIL / INCONCLUSIVE 判定,无内置基准、无 LLM 评委。它提供 TUI、Smoke/Screen/Certify 两级评测、自动调速、selftest 自检、verdict 历史记录,支持 code 类测试需在容器或 VM 中运行,MIT 许可,可通过 pip install tuieval 安装。
推荐理由
原文详细说明了用自有题目同测本地与前沿模型的方法,判定门槛和评分机制都写清楚了,方法可直接复用。
来源:GitHub · 灵魂体仓库 · github.com