GitHub · 去对齐工具与仓库·· 13 天前精选AI 评分73
modeltested 开源基准发布:65 个本地模型的真实工作评测
jelly-ham/modeltested
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jelly-ham/modeltested
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准,结果在 modeltested.com 自动更新,当前榜单覆盖 65 个本地模型。评测分编码(30 题,沙箱内跑隐藏单元测试)、文档抽取(24 题)和决策(56 题,含 Brier score 校准)三套,大部分题目以 age 加密存放、密钥为 CI secret,公开与隐藏分数并排展示以暴露背题;模型经 OpenRouter 以全精度或 8-bit 运行,部分 Q4 模型在 Mac mini(M4, 16 GB)上用 Ollama 补测以量化损失,并给出显存适配估算而非速度数字。
推荐理由
这个开源基准用隐藏题集加密和 canary 字符串对照公开分,可用来识别模型背题,且单模型复测成本仅几美分到几美元。
来源:GitHub · 去对齐工具与仓库 · github.com