跳到正文
GitHub · 去对齐工具与仓库·· 4 天前精选AI 评分66

六个免费模型工具调用横评:gpt-oss-20b 以 88% 准确率胜出

Shinzuu/free-model-bakeoff

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Shinzuu/free-model-bakeoff

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Shinzuu 发布 free-model-bakeoff 评测,六个免费模型在 126 次评分尝试、14 个对抗性问题上跑生产级 tool-calling 流程。openai/gpt-oss-20b 答对 88%、工具路由正确率 95%,超过比它大六倍的模型(64%/76%);同一权重换托管方降到 64%、中位延迟 28 秒。关键发现包括每日 20 万 token 的隐性限额(约等于全团队每天 60 个问题)、一句补充 'open' 定义的系统提示词带来最大准确率提升,以及评测中发现并修复的六个 harness bug。

推荐理由

实测给出六个免费模型的准确率与工具路由数据,并指出同权重不同托管方的表现差异可能比模型间差距更大。

来源:GitHub · 去对齐工具与仓库 · github.com