Reddit 用户发布 Ternary Nemotron 30B GGUF 量化，12GB GPU 可跑 368K 上下文
先了解这件事
Reddit r/LocalLLaMA 用户 boro64 发布了 Ternary Nemotron 30B-A3B 的 GGUF 量化模型（boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF）。这是一款 1.58-bit 三值 30B-A3B MoE 模型，据称可在 12 GB GPU 上运行 368K 上下文，实测解码速度 172 tok/s、prefill 超 7000 tok/s。 该文件兼容原版 llama.cpp（在 b11555+、b11796 验证）和 PrismML fork / Bonsai（在 b10793 验证）。作者称这是继 maple-preview 后第二个支持原版 llama.cpp 的三值 MoE 模型，并征集 CPU-only 和约 10 GB 小显存的测试数据。
AI 根据报道生成 · 6 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMAboro64 发布 Ternary Nemotron 30B-A3B GGUF：12 GB GPU 跑 368K 上下文
Reddit r/LocalLLaMA 用户 boro64 发布 Ternary Nemotron 30B-A3B 的 GGUF 量化模型，这是一款 1.58-bit 三值 30B-A3B MoE 模型，可在 12 GB GPU 上运行 368K 上下文。实测解码速度 172 tok/s、prefill 超 7000 tok/s，同一文件兼容原版 llama.cpp（b11555+、b11796 验证）和 PrismML fork / Bonsai（b10793 验证）。作者称这是继 maple-preview 后第二个支持原版 llama.cpp 的三值 MoE 模型，并征集 CPU-only 和约 10 GB 小显存的测试数据。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月26日 19:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。