Reddit · r/LocalLLaMA· /u/1ncehost·· 8 天前AI 评分39
Nemotron 3.5 Bolt 实测：适合小型多用户部署
Nemotron 3.5 Bolt is okayish for small multiuser setups
来源与原文
Reddit · r/LocalLLaMA
作者：/u/1ncehost
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x9lkh5/nemotron_35_bolt_is_okayish_for_small_multiuser/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户实测 Nemotron 3.5 Bolt，认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4，每 5 层线性注意力（Mamba2）配 1 层 GQA 全注意力，30k 上下文仅占 200 MB KV cache（27B 为 952 MB），速度约为 27B 的两倍，智能水平与 Qwen3.6 27B 相当，幻觉率优于部分顶级模型。作者推荐单张 5090（32 GB）或 128 GB 小型主机作为理想硬件。
来源：Reddit · r/LocalLLaMA · reddit.com