Flinlix 发布 llama_chat：复用 llama.cpp KV 缓存
先了解这件事
Flinlix 发布 llama_chat，一个围绕 llama.cpp 的轻量 Python 封装，目标是尽量少做 prefill：保留上一轮的 KV 缓存，只处理真正新增的 token。缓存满时按整条消息淘汰最旧内容，并把存活消息的 RoPE 位置下移填补空隙，而不是重新 prefill。 Flinlix 称，从序列开头裁剪旧消息会使整段缓存前缀失效，llama-server 的 cache_prompt 同样如此；系统提示词在结构上不可淘汰，淘汰阈值默认为 context_size 的 0.75，另可选 max_history_messages 作为第二个触发条件。 安装时 llama-cpp-python 需按机器从源码构建，以使用该 CPU 自身的 kernels 或 CUDA 后端；预构建 wheel 面向基线指令集且不含 CUDA。在 GPU 上，flash_attention=True 配合 kv_cache_type="q8_0" 约可将 KV 缓存占用减半，代价是输出质量略有下降（量化 kv_cache_type 需要 flash attention）。InMemoryStore 是参考实现，不持久化，可通过实现相应三个方法改用 SQLite、Redis 或文件存储。
AI 根据报道生成 · 18 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选Flinlix 发布 llama_chat：为 llama.cpp 复用 KV 缓存的 Python 封装
Flinlix 发布 llama_chat，一个围绕 llama.cpp 的轻量 Python 封装，目标是尽量少做 prefill：保留上一轮的 KV 缓存，只处理真正新增的 token，缓存满时按整条消息淘汰最旧内容并把存活消息的 RoPE 位置下移填补空隙，而不是重新 prefill。作者称从序列开头裁剪旧消息会失效整段缓存前缀，llama-server 的 cache_prompt 同样如此；系统提示词在结构上不可淘汰，淘汰阈值默认为 context_size 的 0.75，另可选 max_history_messages 作为第二个触发条件。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月7日 01:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。