GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分62
TensorFold 1.0.4 发布,Zig 原生引擎支持 Apple Silicon 与 NVIDIA GPU 推理
ashhart/TensorFold
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ashhart/TensorFold
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
TensorFold 发布 1.0.4,用 Zig 二进制在 Apple Silicon 和 NVIDIA GPU 上直接读取 checkpoint 并通过 Metal 或 CUDA kernel 提供模型推理服务,无需安装 Python 或 MLX。API 默认监听 127.0.0.1:8080/v1,兼容 OpenAI chat completions、completions、Responses 和 Anthropic Messages;已通过认证的模型包括 Nemotron 3.5 Lightning 30B-A3B、Qwen3.8 Flash Next、GLM-5.3-Flash 等,27B 模型可配 DFlash2 drafter,但目前 prompt 处理速度低于 mlx_lm。
推荐理由
一个不依赖 Python 的本地模型推理引擎,支持 Metal 与 CUDA 和多种模型格式,还提供实验性的权重在线学习功能,适合关注本地部署的读者。
来源:GitHub · 去对齐工具与仓库 · github.com