zml/llmd 发布 llmd-20261106.0：跨 NVIDIA、AMD、Intel、TPU、Metal 的推理服务器

zml/llmd 发布新版本 llmd-20261106.0，这是一个可在 NVIDIA、AMD、Intel、TPU 和 Metal 上运行的推理引擎，作者称其为最快的推理引擎。它支持 continuous batching、prefix-caching、DFlash/DFlash2/DSpark 投机解码、工具调用、张量与专家并行自动分片，以及带 s3:// 和 hf:// 的 VFS 直接流式传输到 GPU。镜像体积方面 CUDA 为 1.96 GB、ROCm 为 4.77 GB、TPU 为 272 MB、OneAPI 为 454 MB，Metal 通过 brew install zml/zml/llmd 安装为 142 MB。