Reddit · r/LocalLLaMA· /u/Public_Umpire_1099·· 2 天前精选AI 评分62
RidgeFill 论文提出免训练的后期层缓存填充以加速 prefill
[Paper] RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Public_Umpire_1099
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xmarrf/paper_ridgefill_trainingfree_latelayer_cache_fill/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者团队介绍 RidgeFill，一种免训练方法，对 prompt 跳过大部分上层计算，用一次性闭式拟合的 ridge 回归预测后续各层输入并写入 cache，解码与末尾数千 token 仍走完整模型。在 vLLM 上的 Qwen3.8-Flash-Next，9K 至 32K token 首 token 时间快 1.50 至 1.60 倍，64K 请求从 82.6s 降到 47.5s，RULER 找针任务 99.8 对 100.0；Qwen3.8-27B 经 llama.cpp fork 在单张 A100 上快 1.25 至 1.31 倍，RULER 变化 -1.2 与 -1.4 分。
推荐理由
训练免调的 prefill 加速方法，论文附了跨模型消融与置信区间，作者也说明了为何放弃训练组件的取舍。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。