Reddit · r/LocalLLaMA· /u/xrailgun·· 3 小时前AI 评分50
NInfer v0.3.0 支持 Windows 原生运行，二进制体积缩至 0.28 GB
NInfer-2080ti-22g now supports Windows-native and is only 0.28 GB
来源与原文
Reddit · r/LocalLLaMA
作者：/u/xrailgun
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xj1gnw/ninfer2080ti22g_now_supports_windowsnative_and_is/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
NInfer for Turing 发布 v0.3.0，新增 Windows 原生支持并提供预编译包，二进制体积从 1.56 GB 缩至 0.28 GB，构建时间从数小时降至数分钟。该引擎在单张改装 22 GB RTX 2080 Ti 上运行 Qwen3.6/8-27B，默认 64k 上下文（INT8 KV cache），权重占 15.4 GiB，支持 OpenAI 与 Anthropic 兼容 API、图像视频输入和 MTP 投机解码；实测 64k prefill 458 tok/s，MTP 解码最高 47.5 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com