arXiv · cs.AI· Juan Parra-Ullauri·· 3 天前AI 评分40
InferSlice：面向电信广域网 SLO 驱动 LLM 推理的参考架构
InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
来源与原文
arXiv · cs.AI
作者：Juan Parra-Ullauri
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32638v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间，权重流式传输可缩短扩容时间；流水线并行可容忍近中距离跨站点跳数，而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。
来源：arXiv · cs.AI · arxiv.org