OrbitKV 开源：将 vLLM 与 SGLang 的 KV cache 扩展到 DRAM 和 SSD

OrbitKV 项目开源，将 vLLM 和 SGLang 的 KV cache 扩展到 GPU 显存之外，把可复用前缀保存在 DRAM 和 SSD，并在匹配请求到达时恢复。引擎持有 GPU 内存与调度，OrbitKV 通过每主机一个 Cache Manager 管理外部副本与传输，支持引擎重启后前缀复用、nvCOMP ANS/FP8/TurboQuant 存储编码、Prometheus 指标和实验性的多节点共享缓存。基线版本为 vLLM 0.31.0 和 SGLang 0.5.21，记录的端到端对比显示优于 HBM 逐出后重算，但慢于原生 CPU offload；小负载开销与更广的部署验证仍在进行。项目采用 Apache-2.0 许可证。