Reddit · r/LocalLLaMA· /u/Shadow_s_Bane·· 13 天前AI 评分38
JetBrains Mellum 2.1 12B A2.5B MoE 是一个非常不错的模型
JetBrains Mellum 2.1 12B A2.5B MoE is a very good model.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Shadow_s_Bane
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5uqcu/jetbrains_mellum_21_12b_a25b_moe_is_a_very_good/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户实测 JetBrains Mellum 2.1 12B A2.5B MoE，认为其表现很好。该模型在 m4 16 上全 130k 上下文可达 60 tps，Q8 量化在 16 GB GPU 上可跑，9070xt 上实测 140TPS；作者判断 8GB、12GB 显卡有望跑到 30-40 tps，且其代码能力可用，但建议搭配更大模型做任务规划。
来源：Reddit · r/LocalLLaMA · reddit.com