Reddit · r/LocalLLaMA· /u/Critical-Entry3377·· 19 天前精选AI 评分59
Strata 0.1.40.1 在四卡机上留出约 10.7 GiB 显存空闲,实测发现并非 Bug
Strata 0.1.40.1 left ~10 GB of VRAM unused on my 4-GPU rig — I thought it was a bug. It isn't.
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Critical-Entry3377
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0081n/strata_01401_left_10_gb_of_vram_unused_on_my_4gpu/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在 RTX 5060 Ti + 3090 + 2x 3060 的混装四卡机上,用 Strata 引擎跑 Qwen3.8 Flash-Next(125B MoE,IQ3_XXS,262k 上下文),发现升级到 0.1.40.1 后约 10.7 GiB 显存空闲。排查显示常驻专家缓存从 0.1.39 的 23,168 降到 17,515(GSQ-RCO,-24%),被弃的是路由流量不足 2% 的冷专家,缓存命中率仅从 99.7% 降到 98.1%,生成速度反而从约 87 tok/s 升至 104 tok/s,空闲显存实为有效余量而非 Bug。
推荐理由
作者用 nvidia-smi 和缓存命中率数据说明闲置显存是被主动放弃的冷专家,可迁移为排查同类 MoE 推理问题的思路。
来源:Reddit · r/LocalLLaMA · reddit.com