SEIS 论文提出智能体自我进化方法优化推理系统
论文提出 SEIS(Self-Evolving Inference Systems),用智能体自我进化在无人干预下端到端优化 mini-sglang 推理引擎。在 H100 上服务 Qwen3-0.6B 时吞吐达到原版 mini-sglang 的 3.27X,并在单请求负载下超过 vLLM、TensorRT-LLM 和 SGLang;正确性通过数值差异及数学、长上下文检索任务的下游准确率验证,会话经验继承的迭代优化优于独立尝试。论文地址 https://arxiv.org/abs/2610.04646v1
推荐理由:论文用智能体自我进化端到端优化整个推理引擎,并在实测中与 vLLM 等主流引擎做了吞吐对比,方法可迁移到系统优化场景。