跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分73

tuieval 发布:用自己的题目同测本地模型与 OpenRouter 前沿模型

ashe-wb/tuieval

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ashe-wb/tuieval

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ashe-wb 在 GitHub 发布 tuieval,一个让用户用自己的 eval packs 同时评测本地模型(llama.cpp GGUF、LM Studio、Ollama、vLLM)和 OpenRouter 前沿模型的工具,同时测量准确率、速度和 token 用量,给出 PASS / FAIL / INCONCLUSIVE 判定,无内置基准、无 LLM 评委。它提供 TUI、Smoke/Screen/Certify 两级评测、自动调速、selftest 自检、verdict 历史记录,支持 code 类测试需在容器或 VM 中运行,MIT 许可,可通过 pip install tuieval 安装。

推荐理由

原文详细说明了用自有题目同测本地与前沿模型的方法,判定门槛和评分机制都写清楚了,方法可直接复用。

来源:GitHub · 灵魂体仓库 · github.com