Reddit · r/LocalLLaMA· /u/jesdga95·· 14 天前精选AI 评分62
Basalt：针对 Blackwell 优化的 Qwen 3.8 Flash Next 推理引擎，支持动态视觉加载
Basalt: Fast Blackwell inference engine for Qwen 3.8 Flash Next (and how we got vision for free)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jesdga95
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x4xmxb/basalt_fast_blackwell_inference_engine_for_qwen/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 Basalt，一个面向 Qwen 3.8 Flash Next 的推理引擎，从 Strata fork 并针对 Blackwell 深度调优，仓库在 github.com/jesdga95/basalt。新增 --vision dynamic 模式让图像编码器平时驻留 RAM、空闲时几乎不占显存，图像到达时借用 expert cache 槽位上传编码器（约 30 ms）编码后再回填（约 60 ms），不发图即零开销且不影响文本性能；编码器用 Basalt 自带 kernel，速度最高达 llama.cpp 的 3 倍，并给出移植用的 commit（9bfb90a、a704c65、efd23d9）。
推荐理由
作者给出动态视觉编码器的具体显存与耗时数字，其他引擎可按提供的 commit 直接移植这套做法。
来源：Reddit · r/LocalLLaMA · reddit.com