RX 7900 XTX 单卡跑 262K 上下文 LLM 配置发布
先了解这件事
开发者 victoralcazardev 发布 rx7900xtx-local-llm 仓库，给出在单张 AMD Radeon RX 7900 XTX（24 GB，gfx1100）上运行 262K 上下文本地 LLM 的验证配置、启动脚本与基准证据，一次只跑一张卡和一个服务进程。默认配置为 Qwen3.8-27B GSQ-RCO IQ3_S-mtp 搭配 KV q8_0/q5_1 与 MTP n=3，240K 填充下解码 22.5-33.2 tok/s、峰值显存 22,645 MiB。 仓库要求 Python 3.11+ 与 ROCm 运行时。官方 llama.cpp 二进制缺少 K q8_0 + V q5_1 的 FlashAttention 内核，需改用预编译的 hip-kvmix 构建（engine-b11846-rocm10-gfx1100-kvmix 发布，不含 ROCm 运行时）或自行编译，且仅限 ROCm。作者称 ROCm/HIP 比 Vulkan 快 2-3.5 倍，自带的混合 KV FlashAttention 内核在 240K 下比原版 llama.cpp 解码快 18-27%。 仓库建议将功耗限制在 272 W 并关闭占用 GPU 的应用；240K 填充运行后剩余显存 190 MiB。
AI 根据报道生成 · 9 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选rx7900xtx-local-llm 在单张 RX 7900 XTX 上跑 262K 上下文本地 LLM
victoralcazardev/rx7900xtx-local-llm 给出在单张 AMD Radeon RX 7900 XTX（24 GB，gfx1100）上运行 262K 上下文本地 LLM 的验证配置、启动脚本与基准证据。默认配置为 Qwen3.8-27B GSQ-RCO IQ3_S-mtp 搭配 KV q8_0/q5_1 与 MTP n=3，240K 填充下解码 22.5-33.2 tok/s、峰值显存 22,645 MiB。作者称 ROCm/HIP 比 Vulkan 快 2-3.5 倍，自带的混合 KV FlashAttention 内核在 240K 下比原版 llama.cpp 解码快 18-27%。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月7日 10:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。