Reddit · r/LocalLLaMA· /u/asfbrz96·· 2 小时前精选AI 评分68
libstrix：为 Strix Halo 定制 vLLM 内核，64k prefill 提速最高 31 倍
Strix Halo-specific kernels for vLLM: up to 31× faster prefill at 64k, plugs into stock vLLM
来源与原文
Reddit · r/LocalLLaMA
作者：/u/asfbrz96
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xicvut/strix_halospecific_kernels_for_vllm_up_to_31/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者为 Strix Halo（Radeon 8060S，128 GB 统一内存）编写了 gfx1151 专用 HIP 内核，以 vLLM 插件形式发布为 libstrix（MIT），pip 安装即用、无需 fork 或补丁。64k prefill 最高提速 31 倍，Qwen3.6-35B-A3B 的 256k prompt prefill 从 7,568 秒降到约 241 秒；覆盖 MoE GEMM、attention、Qwen GDN 层及 int8/int4/MXFP4 线性层，KLD 对比显示 Qwen 模型精度在噪声水平，Gemma-4-26B 漂移较大（KLD 约 0.2）。仅支持 gfx1151，需与 vLLM 同一 torch 和 ROCm 编译。
推荐理由
作者给出多模型多精度的 stock 与插件逐项 tok/s 对比和 KLD 精度数据，读者可自行 A/B 验证后再决定是否采用。
来源：Reddit · r/LocalLLaMA · reddit.com