跳到正文
热点事件持续更新

发布 libstrix:vLLM 专用 Strix Halo 内核插件,64k prefill 最高提速 31 倍

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者在 Reddit r/LocalLLaMA 发布开源插件 libstrix(MIT 协议),为 vLLM 提供针对 Strix Halo(Radeon 8060S,gfx1151)定制的 HIP 内核,pip 安装即用,无需 fork 或打补丁。据其测试,64k prefill 最高提速 31 倍,Qwen3.6-35B-A3B 的 256k prompt prefill 从 7,568 秒降至约 241 秒。 内核覆盖 MoE GEMM、attention、Qwen GDN 层及 int8/int4/MXFP4 线性层。作者称 KLD 对比显示 Qwen 模型精度差异在噪声水平,但 Gemma-4-26B 漂移较大(KLD 约 0.2)。 该插件仅支持 gfx1151,未在其他 GPU 上测试;需与 vLLM 使用相同的 torch 和 ROCm 编译,否则导入时会失败。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. Reddit · r/LocalLLaMA精选
    libstrix:为 Strix Halo 定制 vLLM 内核,64k prefill 提速最高 31 倍

    作者为 Strix Halo(Radeon 8060S,128 GB 统一内存)编写了 gfx1151 专用 HIP 内核,以 vLLM 插件形式发布为 libstrix(MIT),pip 安装即用、无需 fork 或补丁。64k prefill 最高提速 31 倍,Qwen3.6-35B-A3B 的 256k prompt prefill 从 7,568 秒降到约 241 秒;覆盖 MoE GEMM、attention、Qwen GDN 层及 int8/int4/MXFP4 线性层,KLD 对比显示 Qwen 模型精度在噪声水平,Gemma-4-26B 漂移较大(KLD 约 0.2)。仅支持 gfx1151,需与 vLLM 同一 torch 和 ROCm 编译。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。