Raon-1-mini-preview（29B MoE）在 16GB RTX 5070 Ti 上从 50 tok/s 压到 232 tok/s

Reddit 用户 /u/McNiiby 用 4 天把 KRAFTON 的 Raon-1-mini-preview（29B MoE、4B 激活）在 16GB RTX 5070 Ti 上的解码速度从 50 tok/s 提到 232 tok/s，质量与 Q4_K_M 量化大致相当。 关键做法包括用 IQ3_KS 量化把模型全放进显存、裁掉 54K 词表、改用 ik_llama.cpp，并修复 SITU 激活与 mHC 层的 CUDA graphs 和约 1500 次每 token 小核启动问题。作者公布了各优化项的加速与 KLD 数据，并发布了 GGUF 与构建说明。 基准成绩有代价：GPQA Diamond 71.2 低于原版的 84.3。作者称几乎全部研究与代码由 Claude Code 完成。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。