Reddit · r/LocalLLaMA· /u/Top-Evidence174·· 6 天前AI 评分50
Mica v0.5 发布：最快的 4B 决策模型，单次决策仅 19.8 ms
Mica v0.5: The smartest 4B decision model is also the fastest one. 20 ms per answer, 25x faster than Jev
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Top-Evidence174
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xbw3oy/mica_v05_the_smartest_4b_decision_model_is_also/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Mica v0.5 是一个 4B 决策模型，可跑在单张消费级 GPU 上，在 RTX 6000 Ada 上 256 tokens 决策耗时 19.8 ms，比其他 4B 评测模型快至多 3.8x，比 API 决策模型快 25 到 340x。它在 JevBench Hard 得 84/111，为已知 4B 模型最佳，JDI 得 58.8，超过所有受测 9B 和 35B 模型。提供 INT8、BF16、Q8_0、IQ4_XS 等格式，8 GB 显存即可运行，采用 Apache-2.0 开源。
来源：Reddit · r/LocalLLaMA · reddit.com