跳到正文
Hugging Face · 趋势模型·· 4 天前精选AI 评分70

NVIDIA 发布 Nemotron-3.5-Bolt-E4B 开放权重小模型,unsloth 提供 GGUF 量化版

unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

NVIDIA 于 10 月 23 日在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,由 Gemma-4-E4B-it 后训练而来,总参数 8B(有效 4B),上下文 64K,采用 OpenMDW-1.1 许可。模型面向本地语音助手、交互式人格和嵌入式界面,强化多轮工具调用与指令遵循,支持通过 chat-template 开关思考模式、运行时思考预算、会话模式和异步工具调用,可搭配 DFlash drafter 做投机解码。模型卡附上与 Gemma4 E4B-it、Qwen3.5 4B 等在 BF16 和 Q4_K_M 两种精度下的基准对比,并公开了预训练和后训练数据清单;unsloth 提供 Q4_K_M GGUF 量化版及 llama.cpp 部署命令。

推荐理由

模型卡给出与 Gemma4、Qwen3.5 同精度组的实测对比表和完整部署配方,可据此评估这个小模型在多轮工具调用上的取舍。

来源:Hugging Face · 趋势模型 · huggingface.co