luftpause 发布 Agent 运行时调度层,交互式运行吞吐最高提升 2.7 倍
luftpause 在 Agent harness 与推理引擎之间增加运行时层,记住每次工具调用暂停的运行,让续接请求优先于批量任务调度。在一块 8 GB 笔记本 GPU 上引擎饱和时,交互式运行吞吐经代理为直连 SGLang router 的 2.0 倍、经 MCP 子 Agent 为 2.7 倍,批量吞吐分别损失 9% 和不变;关键在于严格运行亲和性把运行固定在持有其 KV cache 的副本上。支持 OpenAI 兼容代理与 MCP 两种接入,提供 spawn/await 子 Agent、运行日志恢复、预算与工具审批,已列入官方 MCP Registry,采用 Business Source License 1.1 并在发布四年后逐版本转为 Apache 2.0。
推荐理由:作者给出饱和负载下的对照实测数字和准入策略拆解,能看出调度收益来自哪一层,而非笼统跑分。