GitHub · 灵魂体仓库·· 7 天前精选AI 评分64
luftpause 发布 Agent 运行时调度层,交互式运行吞吐最高提升 2.7 倍
luftpause/luftpause
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/luftpause/luftpause
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
luftpause 在 Agent harness 与推理引擎之间增加运行时层,记住每次工具调用暂停的运行,让续接请求优先于批量任务调度。在一块 8 GB 笔记本 GPU 上引擎饱和时,交互式运行吞吐经代理为直连 SGLang router 的 2.0 倍、经 MCP 子 Agent 为 2.7 倍,批量吞吐分别损失 9% 和不变;关键在于严格运行亲和性把运行固定在持有其 KV cache 的副本上。支持 OpenAI 兼容代理与 MCP 两种接入,提供 spawn/await 子 Agent、运行日志恢复、预算与工具审批,已列入官方 MCP Registry,采用 Business Source License 1.1 并在发布四年后逐版本转为 Apache 2.0。
推荐理由
作者给出饱和负载下的对照实测数字和准入策略拆解,能看出调度收益来自哪一层,而非笼统跑分。
来源:GitHub · 灵魂体仓库 · github.com