GitHub · 去对齐工具与仓库·· 4 天前精选AI 评分66
六个免费模型工具调用横评:gpt-oss-20b 以 88% 准确率胜出
Shinzuu/free-model-bakeoff
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Shinzuu/free-model-bakeoff
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Shinzuu 发布 free-model-bakeoff 评测,六个免费模型在 126 次评分尝试、14 个对抗性问题上跑生产级 tool-calling 流程。openai/gpt-oss-20b 答对 88%、工具路由正确率 95%,超过比它大六倍的模型(64%/76%);同一权重换托管方降到 64%、中位延迟 28 秒。关键发现包括每日 20 万 token 的隐性限额(约等于全团队每天 60 个问题)、一句补充 'open' 定义的系统提示词带来最大准确率提升,以及评测中发现并修复的六个 harness bug。
推荐理由
实测给出六个免费模型的准确率与工具路由数据,并指出同权重不同托管方的表现差异可能比模型间差距更大。
来源:GitHub · 去对齐工具与仓库 · github.com