GitHub · 灵魂体仓库·· 10 天前精选AI 评分63
Sift v0.10.0 发布:CPU 上的抽取式上下文压缩库与 LiteLLM 回调
stancsz/sift
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/stancsz/sift
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
stancsz 发布 Sift v0.10.0,一个仅用 CPU 的 Python 库和 LiteLLM Proxy 回调,做抽取式上下文压缩,保留近期工作原文、从旧历史选取相关证据,压到可配置 token 预算(默认 24,576,最多可处理 1,000,000 输入 token),过程确定且不额外调用模型。本地 Qwen3.8-27B 的 LongBench v2 小样本诊断显示输入 token 减少 27.9%、平均 TTFT 降低 28.2%,但任务质量保持、真实成本节省和端到端提速均未确立;作者明确说明页面上的 85-96% 节省是单请求价格演算而非实测结果。项目为实验性预览,MIT 协议,尚未发布到 PyPI,需从 GitHub 安装并固定 LiteLLM 1.103.0。
推荐理由
作者同时给出基准数据、失败案例和局限声明,读者可以看到上下文压缩工具真实的收益边界而不是只看宣传数字。
来源:GitHub · 灵魂体仓库 · github.com