GitHub · 灵魂体仓库·· 1 天前精选AI 评分67
LIM 发布基于 llama.cpp 的持久 KV-cache 终端 LLM 控制器
statefullm/lim
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/statefullm/lim
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LIM (Local Inference Manager) 是一个基于 llama.cpp 的 C++ 终端 LLM 控制器，KV-cache 从不丢弃，每轮只追加 token，新输入成本仅为 O(input tokens)。在 RTX 5090 / i9-12900K 上测试 Qwen3.6-35B-A3B-UD-Q4_K_XL，222041 token 上下文时比 CACHED 模式快 1.8%、比标准 chatbot 模式快 73%；启用 MTP 推测解码可在全部上下文长度提升解码速度约 25%。它内置文件系统工具、网页搜索、PDF 阅读、会话保存恢复、交互式 undo 和浏览器输出，并以专用用户 $LIM_AI_USER 运行实现隔离。
推荐理由
README给出了三种解码模式的基准对比数据，读者可以据此评估持久KV-cache方案在长上下文会话中带来的速度收益。
来源：GitHub · 灵魂体仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。