CAGE：面向 LLM 服务的 KV-cache 复用评测框架

GitHub 上的开源项目 CAGE（Cache-Augmented Generation Evaluation）提出在统一协议下同时衡量 KV-cache 复用（CAG）、检索（RAG）及其混合方案的服务性能与答案质量，指标包括 TTFT、吞吐量和 grounding、faithfulness、abstention。项目以"服务产出 Y"（按时且正确的请求每秒数）为核心指标，并附上 truth tax 等归因分析，覆盖 vLLM、SGLang、LMDeploy 四种引擎、十二条基线与八个数据集。工程链路已建成并配有 3,000+ 测试的离线套件，但正式评测活动尚未运行，早期数据仅为试点、不可作为结果引用。