跳到正文
GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分62

TensorFold 1.0.4 发布,Zig 原生引擎支持 Apple Silicon 与 NVIDIA GPU 推理

ashhart/TensorFold

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ashhart/TensorFold

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

TensorFold 发布 1.0.4,用 Zig 二进制在 Apple Silicon 和 NVIDIA GPU 上直接读取 checkpoint 并通过 Metal 或 CUDA kernel 提供模型推理服务,无需安装 Python 或 MLX。API 默认监听 127.0.0.1:8080/v1,兼容 OpenAI chat completions、completions、Responses 和 Anthropic Messages;已通过认证的模型包括 Nemotron 3.5 Lightning 30B-A3B、Qwen3.8 Flash Next、GLM-5.3-Flash 等,27B 模型可配 DFlash2 drafter,但目前 prompt 处理速度低于 mlx_lm。

推荐理由

一个不依赖 Python 的本地模型推理引擎,支持 Metal 与 CUDA 和多种模型格式,还提供实验性的权重在线学习功能,适合关注本地部署的读者。

来源:GitHub · 去对齐工具与仓库 · github.com