NInfer v0.3.0 发布：新增 Windows 原生支持，二进制缩至 0.28GB

NInfer for Turing 发布 v0.3.0，新增 Windows 原生支持并提供预编译包，二进制体积从 1.56 GB 缩至 0.28 GB，构建时间从数小时降至数分钟。 该版本面向单张改装 22 GB 显存的 RTX 2080 Ti，仅使用显存、不向系统内存卸载，因此不支持 35B-A3B 模型；运行 Qwen3.6/8-27B 时权重占 15.4 GiB，需要 22 GB 显存。默认 64k 上下文（INT8 KV cache），支持 OpenAI 与 Anthropic 兼容 API、图像视频输入和 MTP 投机解码。发布者称实测 64k prefill 458 tok/s，MTP 解码最高 47.5 tok/s。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。