Reddit · r/LocalLLaMA· /u/McNiiby·· 2 小时前精选AI 评分67
Raon-1-mini-preview（29B MoE）在 16GB RTX 5070 Ti 上从 50 tok/s 压到 232 tok/s
I squoze Raon-1-mini-preview (29B MoE, 4B active) onto my 16GB RTX 5070 Ti and went from 50 to 232 tok/s
来源与原文
Reddit · r/LocalLLaMA
作者：/u/McNiiby
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xi7k3y/i_squoze_raon1minipreview_29b_moe_4b_active_onto/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/McNiiby 用 4 天把 KRAFTON 的 Raon-1-mini-preview（29B MoE、4B 激活）在 16GB RTX 5070 Ti 上的解码速度从 50 tok/s 提到 232 tok/s，质量与 Q4_K_M 大致相当。关键做法包括 IQ3_KS 量化全放显存、裁掉 54K 词表、改用 ik_llama.cpp 并修复 SITU 激活与 mHC 层的 CUDA graphs 和约 1500 次每 token 小核启动问题，另附各优化项的加速与 KLD 数据。基准上 GPQA Diamond 71.2 低于原版 84.3，作者还用 Claude Code 完成几乎全部研究与代码，并发布了 GGUF 与构建说明。
推荐理由
作者逐项给出每个优化的加速幅度和 KLD 代价，可当作 16GB 显卡上 MoE 模型压速的可复用排查清单。
来源：Reddit · r/LocalLLaMA · reddit.com