rx7900xtx-local-llm 在单张 RX 7900 XTX 上跑 262K 上下文本地 LLM

victoralcazardev/rx7900xtx-local-llm 给出在单张 AMD Radeon RX 7900 XTX（24 GB，gfx1100）上运行 262K 上下文本地 LLM 的验证配置、启动脚本与基准证据。默认配置为 Qwen3.8-27B GSQ-RCO IQ3_S-mtp 搭配 KV q8_0/q5_1 与 MTP n=3，240K 填充下解码 22.5-33.2 tok/s、峰值显存 22,645 MiB。作者称 ROCm/HIP 比 Vulkan 快 2-3.5 倍，自带的混合 KV FlashAttention 内核在 240K 下比原版 llama.cpp 解码快 18-27%。