Reddit · r/LocalLLaMA· /u/Zeeplankton·· 12 天前AI 评分18
Reddit r/LocalLLaMA 讨论：Qwen 27b 与 Qwen Flash 的 prefill 速度优化
Is anyone working on improving prefill speed? (Qwen 27b, Flash)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Zeeplankton
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x6h9hr/is_anyone_working_on_improving_prefill_speed_qwen/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 M3 Max 用户在 r/LocalLLaMA 发帖称，Qwen 27b、Qwen Flash Next 等定制模型的 decode 速度已提升，其 QFN 运行达 40tk/s，但 prefill 进展停滞。他尝试用 QFN 优化层/注意力传播并近似 KV cache，将 prefill 从 400tk/s 提到约 850tk/s（约 2 倍），但 needle 测试准确率明显下降，发帖询问是否有人在研究更聪明的 prefill 加速方案。
来源：Reddit · r/LocalLLaMA · reddit.com