GitHub · 灵魂体仓库·· 20 天前AI 评分51
llm-d 发布 Inference Payload Processor：推理网关的载荷感知路由插件框架
llm-d/llm-d-inference-payload-processor
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/llm-d/llm-d-inference-payload-processor
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llm-d 推出 Inference Payload Processor（IPP），一个在 llm 数据面检查和改写推理请求与响应载荷的可插拔框架，以 ext-proc 服务形式随网关 Proxy 部署。核心能力包括载荷感知路由，从请求体提取模型名等信号并注入路由头，使单个 OpenAI 兼容端点可前置多个基础模型和 LoRA 适配器；提供 Filter → Score → Pick 的模型选择流水线，插件经 YAML PayloadProcessorConfig 配置，Helm chart 支持 Istio EnvoyFilter 和 GKE GCPRoutingExtension 集成。
来源：GitHub · 灵魂体仓库 · github.com