Reddit · r/LocalLLaMA· /u/yehyakar·· 5 天前AI 评分50
Strata v0.2.1 基准测试:RTX 5080 16 GB 上 Qwen3.8-Flash-Next IQ3_XXS 64K 上下文跑出 150 tok/s 解码、4.4K tok/s 预填充
[Benchmark] Strata: RTX 5080 16 GB + Core Ultra 9 285K, Qwen3.8-Flash-Next IQ3_XXS 64K: 150 tok/s decode, 4.4K tok/s prompt (Linux, v0.2.1)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/yehyakar
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xbs4xj/benchmark_strata_rtx_5080_16_gb_core_ultra_9_285k/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
社区在单张 RTX 5080 16 GB(Linux/Fedora 44)上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文,中位解码速度 150 tok/s,16K-32K 预填充约 4,400 tok/s,4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%,每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败,统一用 g++-15 编译可解决。
来源:Reddit · r/LocalLLaMA · reddit.com