Hugging Face · 趋势模型·· 4 天前精选AI 评分70
NVIDIA 发布 Nemotron-3.5-Bolt-E4B 开放权重小模型,unsloth 提供 GGUF 量化版
unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
NVIDIA 于 10 月 23 日在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,由 Gemma-4-E4B-it 后训练而来,总参数 8B(有效 4B),上下文 64K,采用 OpenMDW-1.1 许可。模型面向本地语音助手、交互式人格和嵌入式界面,强化多轮工具调用与指令遵循,支持通过 chat-template 开关思考模式、运行时思考预算、会话模式和异步工具调用,可搭配 DFlash drafter 做投机解码。模型卡附上与 Gemma4 E4B-it、Qwen3.5 4B 等在 BF16 和 Q4_K_M 两种精度下的基准对比,并公开了预训练和后训练数据清单;unsloth 提供 Q4_K_M GGUF 量化版及 llama.cpp 部署命令。
推荐理由
模型卡给出与 Gemma4、Qwen3.5 同精度组的实测对比表和完整部署配方,可据此评估这个小模型在多轮工具调用上的取舍。
来源:Hugging Face · 趋势模型 · huggingface.co