Reddit · r/LocalLLaMA· /u/Kernoriordan·· 21 天前精选AI 评分60
Qwen 3.8 27B 在 16GB RTX 5080 上用 NInfer 跑出约 96t/s 解码、110k 上下文
Follow up: Qwen 3.8 27B at ~96t/s decode with NInfer on a 16GB RTX 5080, 110k context
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Kernoriordan
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wz8qc4/follow_up_qwen_38_27b_at_96ts_decode_with_ninfer/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5（Ubuntu 24.04 经 WSL2）运行 Qwen 3.8 27B，分配 110,592 上下文，编码任务实测中位解码 96.45t/s（最低 84.6、最高 131.7），中位首 token 时间 1.4 秒。
推荐理由
作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据，可复现的启动参数对 16GB 显卡本地部署有直接参考。
来源：Reddit · r/LocalLLaMA · reddit.com