Reddit · r/LocalLLaMA· /u/asfbrz96·· 21 小时前精选AI 评分69
libstrix 更新:一条命令在 Strix Halo 上跑 vLLM,Qwen3.8-Flash-Next 达 40+ tok/s 解码
libstrix update: one-command Docker image for Strix Halo, and Qwen3.8-Flash-Next now runs (1.6k prefill, 40+ tok/s decode)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/asfbrz96
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xjri5o/libstrix_update_onecommand_docker_image_for_strix/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 libstrix 更新,提供一条命令启动的 Docker 镜像 ghcr.io/asf0/strix-vllm:latest,内含 vLLM fork、libstrix 插件和 ROCm 10.1,宿主机只需 amdgpu 驱动。Qwen3.8-Flash-Next 在 5.6k-100k 提示下实现 1,539-1,617 tok/s prefill 和 40-43 tok/s 解码;其 102 GB n-gram 表需 fork 版从磁盘流式读取。
推荐理由
作者给出各模型显存占用表、Stock 与 libstrix 的逐段速度对比和 KLD、GSM8K 等精度数据,部署脚本可直接复用。
来源:Reddit · r/LocalLLaMA · reddit.com