Reddit · r/LocalLLaMA· /u/IVequalsW·· 3 小时前AI 评分22
llama.cpp 在 Vulkan 上以 Expert cache 运行 Qwen Flash Next Q4 的部署配置
Llama.cpp setup Qwen-flash-next Vulkan Q4 with Expert cache.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/IVequalsW
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xkr0e6/llamacpp_setup_qwenflashnext_vulkan_q4_with/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户在 64GB DDR4 + 双 RX 6800 加 RX 580 的 Vulkan 服务器上，用 llama.cpp 运行 Qwen Flash Next 180B 的 Q4 量化（Qwenflash180b-Q4.gguf），配合 --moe-cache-mib 16384 的 Expert cache，在 262K 全上下文下获得 19-21 t/s 生成速度。手动用 -c/--ctx-size 指定上下文时性能跌至 8 t/s，需让 llama.cpp 自行分配上下文。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。