Reddit · r/LocalLLaMA· /u/yehyakar·· 3 小时前AI 评分41
Basalt(Strata fork)新 PR 刷新纪录:单张 RTX 5080 + 51 GB RAM 跑 Qwen3.8 Flash,prompt processing 达 5500 tok/s、生成峰值 275 tok/s
[Update Benchmark] Basalt's new PRs (Strata fork) new record IQ3_S Qwen3.8 Flash Next on single RTX 5080 and 51 GB RAM with 5500 tok/s prompt processing and up to 275 tok/s peak generation (during opencode coding live session)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/yehyakar
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xi9sfl/update_benchmark_basalts_new_prs_strata_fork_new/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Basalt(Strata fork)的新 PR 在单张 RTX 5080(16GB)加 51 GB RAM 上跑 Qwen3.8 Flash 的 IQ3_S 量化,创下 prompt processing 5500 tok/s、生成峰值 275 tok/s 的纪录,推理轨迹最高 190 tok/s。测试硬件为 64 GB DDR5 6400 与 Core Ultra 9 285K,opencode 编码实测中代码与工具调用峰值达 275 tok/s。部分优化 PR 仍在等待合并,但上游已带来明显性能与内存优化,作者称 IQ3_S 实际可用。
来源:Reddit · r/LocalLLaMA · reddit.com