Reddit · r/LocalLLaMA· /u/Any_Bus9205·· 3 小时前精选AI 评分66
Ternary Bonsai 2 在 ik_llama.cpp 上实现完整原生运行
[Guide] Ternary Bonsai 2 is finally 100% working on ik_llama.cpp (Native CUDA offload + Fast CPU -rtr)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Any_Bus9205
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xkcg2y/guide_ternary_bonsai_2_is_finally_100_working_on/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/Any_Bus9205 发文称 PrismML 的 Ternary Bonsai 2 已在 ik_llama.cpp 上获得完整原生支持，解决了此前 CUDA offload 因 Hadamard sign tensor 处理导致的瓶颈或报错。PR #2747 合并了 PQ2_0 的原生 CUDA kernel，可完整 offload 到 Nvidia GPU 且无 token 损坏；PR #2694 提供脚本 scripts/repack_ternary_to_prism.py 可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0；CPU 侧采用 PQ2_0_R8 交错格式，加 -rtr 1 参数可大幅加速 prompt 处理。
推荐理由
原文给出了具体命令和 PR 编号，想在 ik_llama.cpp 上跑通 Ternary Bonsai 2 的读者可以直接照抄部署流程。
来源：Reddit · r/LocalLLaMA · reddit.com