跳到正文
我的
Reddit · r/LocalLLaMA· /u/yehyakar·· 15 小时前精选AI 评分71

Qwen3.8 Flash-Next 单卡 RTX 5080 部署指南:Basalt 引擎实测解码超 250 tok/s

[GUIDE] Qwen3.8 Flash-Next on a single RTX 5080 + 64GB RAM: >250 tok/s tg and 5700 tok/s prefill in real agent coding sessions (Basalt + new Unsloth UD-IQ3_XXS + Lamina drafter),+ how it compares to llama.cpp

来源与原文

Reddit · r/LocalLLaMA

作者:/u/yehyakar

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xomy0i/guide_qwen38_flashnext_on_a_single_rtx_5080_64gb/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布在单张 RTX 5080 16GB 加 64GB 内存上运行 Qwen3.8 Flash-Next 的完整指南,实测真实 Agent 编码会话平均解码 195.6 tok/s、最佳请求 263 tok/s、prompt 读取约 5,700 tok/s。同一模型文件下 Basalt 引擎解码约为 llama.cpp 的 3.5 倍(配合 Lamina 草稿约 5 倍),prompt 读取快约 7 倍;Unsloth 新 UD-IQ3_XXS 量化 wikitext 困惑度 3.382 降到 3.247,接近 BF16 的 3.273,解码速度代价 1 到 3.5%。指南附一键 setup 脚本与作者向上游提交的多个 Basalt 优化 PR。

推荐理由

作者在同一台机器上给出 Basalt 与 llama.cpp 的实测倍数和量化困惑度对比,方法与数据可直接迁移到自己的单卡部署。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。