GitHub · 灵魂体仓库·· 18 天前AI 评分38
LMCache：面向 LLM 推理的开源 KV cache 管理层
LMCache/LMCache
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/LMCache/LMCache
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LMCache 是一个开源 KV cache 管理层，可将 KV cache 持久化存储、跨服务引擎复用，降低 TTFT 并提升吞吐，尤其适用于长上下文 agentic、多轮对话和 RAG 工作负载。该项目已加入 PyTorch Foundation，GitHub star 超 5,000，并与 NVIDIA Dynamo、vLLM 等集成。它支持引擎独立部署、分层存储（CPU 内存、SSD、Redis/Valkey、S3 等）、CacheBlend 非前缀 KV 复用以及 PD 分离下的 KV 传输。
来源：GitHub · 灵魂体仓库 · github.com