Reddit · r/LocalLLaMA· /u/yehyakar·· 10 天前AI 评分50
NVIDIA Nemotron-3.5-Bolt-74B-A9B GGUF 在 16GB VRAM 上的 llama.cpp 实测与 Strata 风格调优
nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF results on 16GB VRAM with llama.cpp, strata style tuning (IQ2_XSS Official Nvidia Quant)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/yehyakar
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x8104h/nvidianvidianemotron35bolt74ba9b24gbgguf_results/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
用户在 16GB VRAM 上用 llama.cpp 测试 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF（IQ2_XSS 官方量化），20k 输入、贪心解码下 v0.7.0 达 168.8 tok/s，为各构建方案最佳，其余变体差异在噪声范围内。Strata 风格的专家路由 profiler 经 #30594 可用于 llama.cpp，但混合模式因 PCIe Gen5 x16 上传快于 CPU 计算而降至 89–98 tok/s；GPU 缓存预热后命中率约 82%。专家缓存 7.5 GB 为安全上限，draft 默认设置（每步 3 token、无置信阈值）最优。
来源：Reddit · r/LocalLLaMA · reddit.com