跳到正文
Reddit · r/LocalLLaMA· /u/yehyakar·· 5 天前AI 评分50

Strata v0.2.1 基准测试:RTX 5080 16 GB 上 Qwen3.8-Flash-Next IQ3_XXS 64K 上下文跑出 150 tok/s 解码、4.4K tok/s 预填充

[Benchmark] Strata: RTX 5080 16 GB + Core Ultra 9 285K, Qwen3.8-Flash-Next IQ3_XXS 64K: 150 tok/s decode, 4.4K tok/s prompt (Linux, v0.2.1)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/yehyakar

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xbs4xj/benchmark_strata_rtx_5080_16_gb_core_ultra_9_285k/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

社区在单张 RTX 5080 16 GB(Linux/Fedora 44)上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文,中位解码速度 150 tok/s,16K-32K 预填充约 4,400 tok/s,4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%,每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败,统一用 g++-15 编译可解决。

来源:Reddit · r/LocalLLaMA · reddit.com