开源项目 LIM 发布：基于 llama.cpp 的持久 KV-cache 终端 LLM 控制器
先了解这件事
LIM (Local Inference Manager) 是一个基于 llama.cpp 的 C++ 终端 LLM 控制器，已在 GitHub 发布。其核心做法是 KV-cache 从不丢弃、每轮只追加 token，新输入的处理成本仅为 O(input tokens)。 作者在 RTX 5090 / i9-12900K 上测试 Qwen3.6-35B-A3B-UD-Q4_K_XL：222041 token 上下文时比 CACHED 模式快 1.8%、比标准 chatbot 模式快 73%；启用 MTP 推测解码可在全部上下文长度提升解码速度约 25%（这些数字来自该项目自己的测试）。 LIM 内置文件系统工具、网页搜索、PDF 阅读、会话保存恢复、交互式 undo 和浏览器输出。运行要求支持 CUDA 的 GPU（推荐 NVIDIA）并安装 CUDA 工具包，纯 CPU 构建可用 make GGML_CUDA=off；且必须以专用用户 $LIM_AI_USER 运行以实现隔离。
AI 根据报道生成 · 10 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 灵魂体仓库精选LIM 发布基于 llama.cpp 的持久 KV-cache 终端 LLM 控制器
LIM (Local Inference Manager) 是一个基于 llama.cpp 的 C++ 终端 LLM 控制器，KV-cache 从不丢弃，每轮只追加 token，新输入成本仅为 O(input tokens)。在 RTX 5090 / i9-12900K 上测试 Qwen3.6-35B-A3B-UD-Q4_K_XL，222041 token 上下文时比 CACHED 模式快 1.8%、比标准 chatbot 模式快 73%；启用 MTP 推测解码可在全部上下文长度提升解码速度约 25%。它内置文件系统工具、网页搜索、PDF 阅读、会话保存恢复、交互式 undo 和浏览器输出，并以专用用户 $LIM_AI_USER 运行实现隔离。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 511月5日 05:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。