llama.cpp PR #29948 融合 FFN gate/up matmul,DGX Spark 实测提速约 10.7%
热点事件观察中
llama.cpp PR #29948 融合 FFN gate/up matmul,DGX Spark 实测提速约 10.7%
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
anujj 向 ggml-org/llama.cpp 提交 PR #29948,在 MMQ 中以交错 gate/up 行的方式融合 FFN gate/up matmuls 与 GLU。用户 /u/jacek2023 用 llama-bench(-ngl 999 -fa on -p 16384 -n 0 -b 2048 -ub 2048 -ctk f16 -ctv f16 -r 5)实测,DGX Spark(GB10)上推理提速最高约 10.7%。
AI 根据报道生成 · 2 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月25日
- Reddit · r/LocalLLaMAllama.cpp PR #29948 融合 FFN gate/up matmuls 与 GLU,DGX Spark 推理提速最高约 10.7%
anujj 向 ggml-org/llama.cpp 提交 PR #29948,在 MMQ 中以交错 gate/up 行的方式融合 FFN gate/up matmuls 与 GLU。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月25日 18:00
- 近 24 小时变化
- -49%
02.557.510
10月26日12:0010月27日12:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。