热点事件持续更新

用户在 llama.cpp Vulkan 上用多张 AMD 显卡实测 Qwen Flash Next Q4

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户 /u/IVequalsW 称，在 64GB DDR4 内存加双 RX 6800 和一块 RX 580 的机器上，用 llama.cpp 的 Vulkan 后端运行 Qwen Flash Next 180B 的 Q4 量化，配合 16384 MiB 的 Expert cache（--moe-cache-mib 16384），在 262K 全上下文下获得 19-21 t/s 的生成速度。用户称，若手动用 -c/--ctx-size 指定上下文大小，性能会跌至 8 t/s，即使上下文只有 100K 也如此，因此需要让 llama.cpp 自行分配上下文。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月1日

09:39
Reddit · r/LocalLLaMA
llama.cpp 在 Vulkan 上以 Expert cache 运行 Qwen Flash Next Q4 的部署配置
Reddit 用户在 64GB DDR4 + 双 RX 6800 加 RX 580 的 Vulkan 服务器上，用 llama.cpp 运行 Qwen Flash Next 180B 的 Q4 量化（Qwenflash180b-Q4.gguf），配合 --moe-cache-mib 16384 的 Expert cache，在 262K 全上下文下获得 19-21 t/s 生成速度。手动用 -c/--ctx-size 指定上下文时性能跌至 8 t/s，需让 llama.cpp 自行分配上下文。

本事件热度走势

可比范围当前: 9
可比范围峰值: 1011月1日 10:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。