Lean-QwenFlash：NVMe 卸载让 16GB 显存跑 125B 模型
先了解这件事
Reddit 用户 /u/MaxDev0 发布 Lean-QwenFlash 项目，将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载专家权重，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。部署脚本和模型下载工具已上传至 GitHub。 其实测数据（3.05bpw、Q4 KV cache）：RTX 4090 在 8k 短上下文下散文 28–33 tok/s、代码 19–22 tok/s，prefill 约 1,080 tok/s；262k 满窗口下解码 20.0 tok/s、prefill 约 1,627 tok/s。RTX 3080 Laptop（16GB 显存、32GB 内存）在 100k 上下文下约 18–21 tok/s，峰值显存 15.5GB。 作为对比，现有方案（如 Strata）需将 24k 个专家全部驻留约 48–64GB 内存，该方案显著降低了内存需求。
AI 根据报道生成 · 2 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选Lean-QwenFlash：Qwen3.8-Flash-Next（125B）在 16GB 显存加 8GB 内存下跑出约 20 tok/s
/u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月25日 15:00
- 近 24 小时变化
- -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。