跳到正文
GitHub · 灵魂体仓库·· 21 天前精选AI 评分64

CtxGuard 开源:面向 AI Agent 的上下文治理与缓存加速网关

255308153/CtxGuard

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/255308153/CtxGuard

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在 GitHub 开源 CtxGuard,一个部署在客户端与 OpenAI、Anthropic、Google Gemini、xAI Grok、DeepSeek 等服务商之间的透明反向代理网关,通过 Tree-sitter 语法树折叠、工具增量差分、日志 Head-Tail 截断和思考链透传等手段压缩 Agent 上下文并稳定云端 Prompt Cache。作者给出基准数据(如 2500+ Tokens 状态刷新压至 30 Tokens、日志 Token 降低 80%+)和生产实测:10,868 次请求累计节省约 11.5 亿 Tokens,综合压缩率 65.97%,网关中位延迟 0.14 ms,MIT 许可证开源。

推荐理由

原文给出各压缩模块的实现细节、基准数据和万次请求生产实测,读者可以评估这套上下文网关在自家 Agent 工作流中的压缩与缓存收益。

来源:GitHub · 灵魂体仓库 · github.com