Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra
Baseten releases elephant-1 (9B, MIT, Qwen3.5-9B base), a decision model that ties d1-ultra on the AA Decision Index at about a quarter of the cost
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Balance-
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xdirky/baseten_releases_elephant1_9b_mit_qwen359b_base_a/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。
原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。
来源:Reddit · r/LocalLLaMA · reddit.com