Reddit · r/LocalLLaMA· /u/ckplscz·· 3 小时前AI 评分18
Strata 在 16 GB VRAM + 32 GB RAM 上运行 Qwen3.8 Q2_0 遇到 prefill 速度极慢问题求助
Very slow prefill on Strata, 16 GB VRAM, 32GB RAM. Q2_0 Flash next
来源与原文
Reddit · r/LocalLLaMA
作者:/u/ckplscz
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhncny/very_slow_prefill_on_strata_16_gb_vram_32gb_ram/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit r/LocalLLaMA 用户在 Windows 上用 AMD 9060 XT 16 GB 和 32 GB DDR4 运行 Strata 0.1.52 加载 Qwen3.8-Flash-Next Q2_0(64K 上下文、int8 KV),decode 速度正常(45.5 tok/s),但 prefill 仅约 150 t/s,pp4k 实测 161.9 tok/s。自动调优的 --host-core 与 --kv-grow 选项均因空闲内存不足(需 28.4 GiB、仅剩 25.6 GiB)被跳过,作者求修复建议。
来源:Reddit · r/LocalLLaMA · reddit.com