跳到正文
GitHub · 去对齐工具与仓库·· 13 天前精选AI 评分73

modeltested 开源基准发布:65 个本地模型的真实工作评测

jelly-ham/modeltested

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/jelly-ham/modeltested

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准,结果在 modeltested.com 自动更新,当前榜单覆盖 65 个本地模型。评测分编码(30 题,沙箱内跑隐藏单元测试)、文档抽取(24 题)和决策(56 题,含 Brier score 校准)三套,大部分题目以 age 加密存放、密钥为 CI secret,公开与隐藏分数并排展示以暴露背题;模型经 OpenRouter 以全精度或 8-bit 运行,部分 Q4 模型在 Mac mini(M4, 16 GB)上用 Ollama 补测以量化损失,并给出显存适配估算而非速度数字。

推荐理由

这个开源基准用隐藏题集加密和 canary 字符串对照公开分,可用来识别模型背题,且单模型复测成本仅几美分到几美元。

来源:GitHub · 去对齐工具与仓库 · github.com