MaxionBench 发布可复现 LLM 服务与 Agent 评测框架，实测上下文裁剪策略对成本与缓存的影响

htang7415 在 GitHub 发布 MaxionBench，一个针对 LLM serving、RAG 和 Agent 的可复现决策评测框架，对比 llm-d 路由的自托管 vLLM、受管 Gemini API 及其混合方案。v0.4 基于 GitHub Copilot 生产流量（301k 会话、中位提示 57k token）实测五种上下文策略：仅 summarize 在校正后判分下准确率显著更高（+20 点），裁写历史会丢失 Gemini 隐式前缀缓存，而缓存感知变体保留约一半缓存、成本比 full 低 17-29%；v0.5 将策略移入 Go 网关后，Gemini 计费 token 减半且准确率未降。