Nemotron 3.5 Bolt 实测:适合小型多用户部署
Reddit 用户实测 Nemotron 3.5 Bolt,认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4,每 5 层线性注意力(Mamba2)配 1 层 GQA 全注意力,30k 上下文仅占 200 MB KV cache(27B 为 952 MB),速度约为 27B 的两倍,智能水平与 Qwen3.6 27B 相当,幻觉率优于部分顶级模型。作者推荐单张 5090(32 GB)或 128 GB 小型主机作为理想硬件。