Reddit · r/LocalLLaMA· /u/jesdga95·· 17 天前精选AI 评分63
Basalt 推理引擎发布：Qwen3.8 Flash-Next 在 5090+5060 Ti 上跑出 665 tok/s，为 Strata 的 2.6 倍
Basalt: Flash-Next at 665 tok/s structured, 354 prose on a 5090 + 5060 Ti (2.6x Strata)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jesdga95
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x223ai/basalt_flashnext_at_665_toks_structured_354_prose/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/jesdga95 发布开源（MIT）推理引擎 Basalt，是 Strata 的深度调优分支，仅支持 Qwen3.8 Flash-Next 与 Blackwell 架构。作者在 5090+5060 Ti 上实测 665 tok/s structured、354 prose、64k prefill 7317 tok/s（400W），单 5090 为 585/316；支持最多 8 用户并发（8 流共 623 tok/s）、自研视觉编码器（比 llama.cpp 快最高 3-4 倍）、OpenAI/Anthropic 兼容 API，仅支持 Linux。
推荐理由
作者实测给出了单卡与双卡的吞吐数字和量化选项，可作为 Blackwell 本地推理引擎选型与调优的参考。
来源：Reddit · r/LocalLLaMA · reddit.com