开源项目 kvscope 发布 KV cache 感知推理网关与数字孪生模拟器

GitHub 项目 kvscope 发布，包含一个 KV cache 感知的 LLM 推理网关和它的数字孪生调度模拟器，网关订阅 vLLM 的 KV 事件、维护全局前缀索引并按策略路由请求，孪生用网关记录的真实流量做影子评估、保真度检查和容量规划，再通过控制接口热切换策略。实测在 RTX 5070 上双 Qwen3-0.6B 实例中，从 round_robin 切到 prefix_affinity 后前缀命中从 78.0% 升至 87.6%，TTFT p90 从 15.6 ms 降到 9.9 ms；作者同时指出模拟器可比较策略与命中率，但绝对延迟低估 2 到 4 倍，不能用于预测真实延迟。