zml/llmd 发布跨五平台推理服务器新版
先了解这件事
zml/llmd 发布推理服务器版本 llmd-20261106.0，可在 NVIDIA、AMD、Intel、TPU 和 Metal 上运行。作者称其为最快的推理引擎，支持 continuous batching、prefix-caching、DFlash/DFlash2/DSpark 投机解码、工具调用、张量与专家并行自动分片，以及通过 s3:// 和 hf:// 的 VFS 直接流式传输到 GPU。 镜像体积为 CUDA 1.96 GB、ROCm 4.77 GB、TPU 272 MB、OneAPI 454 MB；Metal 版通过 brew install zml/zml/llmd 安装，体积 142 MB。“最快”是作者的说法，报道未给出与其他引擎的对比数据。
AI 根据报道生成 · 12 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选zml/llmd 发布 llmd-20261106.0：跨 NVIDIA、AMD、Intel、TPU、Metal 的推理服务器
zml/llmd 发布新版本 llmd-20261106.0，这是一个可在 NVIDIA、AMD、Intel、TPU 和 Metal 上运行的推理引擎，作者称其为最快的推理引擎。它支持 continuous batching、prefix-caching、DFlash/DFlash2/DSpark 投机解码、工具调用、张量与专家并行自动分片，以及带 s3:// 和 hf:// 的 VFS 直接流式传输到 GPU。镜像体积方面 CUDA 为 1.96 GB、ROCm 为 4.77 GB、TPU 为 272 MB、OneAPI 为 454 MB，Metal 通过 brew install zml/zml/llmd 安装为 142 MB。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月7日 07:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。