热点事件持续更新

Ternary Bonsai 2 在 ik_llama.cpp 上实现完整原生支持

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Reddit 用户 /u/Any_Bus9205 发文称，PrismML 的 Ternary Bonsai 2 已在 ik_llama.cpp 上获得完整原生支持，此前的 CUDA offload 因 Hadamard sign tensor 处理存在瓶颈或报错，现已解决。具体改动包括：PR #2747 合并了 PQ2_0 的原生 CUDA kernel，可完整 offload 到 Nvidia GPU 且无 token 损坏；PR #2694 提供脚本 scripts/repack_ternary_to_prism.py，可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0；CPU 侧采用 PQ2_0_R8 交错格式。作者提醒，若已从 Prism 下载原生 PQ2_0 GGUF 可跳过重打包，且 CPU 运行时需加 -rtr 1（runtime repack）参数以大幅加速 prompt 处理。

AI 根据报道生成 · 4 小时前更新

最新进展10月31日 23:01

Ternary Bonsai 2 在 ik_llama.cpp 上实现完整原生运行

报道时间线

沿着报道，了解事件的不同侧面。

10月31日

23:01
Reddit · r/LocalLLaMA精选
Ternary Bonsai 2 在 ik_llama.cpp 上实现完整原生运行
Reddit 用户 /u/Any_Bus9205 发文称 PrismML 的 Ternary Bonsai 2 已在 ik_llama.cpp 上获得完整原生支持，解决了此前 CUDA offload 因 Hadamard sign tensor 处理导致的瓶颈或报错。PR #2747 合并了 PQ2_0 的原生 CUDA kernel，可完整 offload 到 Nvidia GPU 且无 token 损坏；PR #2694 提供脚本 scripts/repack_ternary_to_prism.py 可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0；CPU 侧采用 PQ2_0_R8 交错格式，加 -rtr 1 参数可大幅加速 prompt 处理。

本事件热度走势

可比范围当前: 9
可比范围峰值: 1011月1日 00:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。