跳到正文
Reddit · r/LocalLLaMA· /u/Gold-Bat-3225·· 20 天前精选AI 评分61

InferBench 评测:MiMo V2.6 Pro 推断用户意图接近 GPT-6 Astra

MiMo V2.6 Pro almost matched GPT-6 Astra at figuring out what a user actually wants

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Gold-Bat-3225

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1wzi15b/mimo_v26_pro_almost_matched_gpt6_astra_at/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布 InferBench 基准,用 20 个场景、2.8k 段对话测试 12 个 LLM 从指令中推断用户优先级的能力。优先级明确时模型选对率 89%,部分未说明时降到 60%;GPT-6 Astra 76%、MiMo V2.6 Pro 75%、Gemini 3.1 Pro 69%。Astra 在偏好未说明时总会追问澄清,Grok 4.6 在 64 段对话中仅 18 次追问;288 个错误决策中 105 个以 >90% 置信度提交。完整报告:https://laugh.so/research/inferbench/

推荐理由

作者自建 InferBench 评测并给出 12 个模型的推断准确率与置信度数据,开源与闭源模型的差距有具体数字可查。

来源:Reddit · r/LocalLLaMA · reddit.com