Thinkube 发布支持低比特 GGUF 的 llama.cpp fork 组件 llama-cpp-prism
先了解这件事
Thinkube 发布可选组件 llama-cpp-prism，基于 PrismML 的 llama.cpp fork，支持其 Bonsai 模型的低比特 GGUF 格式 Q1_0（1-bit）、PQ2_0 和 PTQ1_0，并带专用 CUDA kernels；原版 llama.cpp 会拒绝这些文件。组件通过同一入口在 8000 端口运行 llama-server 并提供 OpenAI API，镜像基于 fork 的 prism-b10754-2459f68 版本与 CUDA 13.0 构建，模板采用 MIT 许可。该组件在 thinkube-control 的可选组件页面安装和卸载，加载模型前不会启动 pods。 后续有配套模型进展：BoldingBuilds 发布 Ternary-Bonsai-2-27B-Abliterated-v2 的 PTQ1_0 GGUF，据其称是把 v2 PQ2_0 的去拒答改动重打包进更小的 1.75-bpw 格式，并修复 v1 把答案写进推理、耗尽 token 预算的问题。该文件需 PrismML 的 llama.cpp fork 才能加载，mainline llama.cpp、Ollama 和 LM Studio 均不支持。
AI 根据报道生成 · 2 小时前更新
事件进展
2 个进展
- 10月30日 03:06 · 1 篇报道发布 Ternary Bonsai 2 27B 去对齐 v2 PTQ1_0 GGUFHugging Face · 新模型：abliterated：BoldingBuilds 发布 Ternary-Bonsai-2-27B Abliterated v2 的 PTQ1_0 GGUF 版
- 10月22日 21:19 · 1 篇报道Thinkube 发布支持低比特 GGUF 的 llama.cpp fork 组件GitHub · 灵魂体仓库：Thinkube 的 llama-cpp-prism：基于 PrismML llama.cpp fork 的低比特模型后端组件
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face · 新模型：abliterated精选BoldingBuilds 发布 Ternary-Bonsai-2-27B Abliterated v2 的 PTQ1_0 GGUF 版
BoldingBuilds 发布 Ternary-Bonsai-2-27B-Abliterated-v2-PTQ1_0 GGUF，把 v2 PQ2_0 的去拒答改动重打包进更小的 1.75-bpw PTQ1_0 格式，并修复 v1 把答案写进推理、耗尽 token 预算的问题。v2 修改了输出层一行，使模型在答案就绪后关闭推理；medium 推理档位下 200 条安全提示答对 199 条，4096-token 预算内 StrongReject 评分 0.971。该文件需 PrismML 的 llama.cpp fork 才能加载，mainline llama.cpp、Ollama 和 LM Studio 均不支持。
- GitHub · 灵魂体仓库Thinkube 的 llama-cpp-prism：基于 PrismML llama.cpp fork 的低比特模型后端组件
Thinkube 的可选组件 llama-cpp-prism 使用 PrismML 的 llama.cpp fork，支持其 Bonsai 模型的低比特 GGUF 格式 Q1_0（1-bit）、PQ2_0 和 PTQ1_0，并带专用 CUDA kernels；原版 llama.cpp 会拒绝这些文件。该组件通过同一入口在 8000 端口运行 llama-server 并提供 OpenAI API，镜像基于 fork 的 prism-b10754-2459f68 版本与 CUDA 13.0 构建，模板采用 MIT 许可。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1010月30日 04:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。