跳到正文
热点事件持续更新

用户在 Strata 上跑 Qwen3.8 Q2_0 遇 prefill 过慢求助

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一位 Reddit r/LocalLLaMA 用户在 Windows 上用 AMD 9060 XT 16 GB 显卡和 32 GB DDR4 内存,通过 Strata 0.1.52 运行 Qwen3.8-Flash-Next Q2_0(64K 上下文、int8 KV),发现 decode 速度正常(45.5 tok/s),但 prefill 仅约 150 t/s,pp4k 实测 161.9 tok/s,遂发帖求助修复建议。 该用户尝试使用自动调优的 --host-core 与 --kv-grow 选项,但均因空闲内存不足被跳过——两项需 28.4 GiB,而系统仅剩 25.6 GiB。目前尚无解决方案。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Reddit · r/LocalLLaMA
    Strata 在 16 GB VRAM + 32 GB RAM 上运行 Qwen3.8 Q2_0 遇到 prefill 速度极慢问题求助

    一位 Reddit r/LocalLLaMA 用户在 Windows 上用 AMD 9060 XT 16 GB 和 32 GB DDR4 运行 Strata 0.1.52 加载 Qwen3.8-Flash-Next Q2_0(64K 上下文、int8 KV),decode 速度正常(45.5 tok/s),但 prefill 仅约 150 t/s,pp4k 实测 161.9 tok/s。自动调优的 --host-core 与 --kv-grow 选项均因空闲内存不足(需 28.4 GiB、仅剩 25.6 GiB)被跳过,作者求修复建议。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。