Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理引擎

Google 推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发。开发者可以用熟悉的 PyTorch 工具在 TPU 上部署模型。