热点事件持续更新

llama.cpp 提出 moe-cache 替换 SLRU 专家缓存

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

llama.cpp 的 PR #31233 提出 moe-cache，用按衰减使用历史排序、优先保留高频专家的 LRFU/MQ 类混合缓存替换 SLRU，并为 llama_moe_cache 启用 auto 模式。据该 PR 称，在预热缓存下对比 SLRU，QFN 解码提升 6%、GLM 提升 7%，上传量减少 8%。该 PR 仍在等待 #30966 合并。

AI 根据报道生成 · 19 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月6日

23:39
Reddit · r/LocalLLaMA
llama.cpp PR #31233：moe-cache 用 LRFU/MQ 混合缓存替换 SLRU
llama.cpp 的 PR #31233 提出 moe-cache，用按衰减使用历史排序、优先保留高频专家的 LRFU/MQ 类混合缓存替换 SLRU。在预热缓存下测得 QFN 解码提升 6%、GLM 提升 7%，上传量减少 8%，并为 llama_moe_cache 启用 auto 模式。该 PR 仍在等待 #30966 合并。

本事件热度走势

可比范围当前: 6
可比范围峰值: 1011月7日 00:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。