跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分61

TensorSharp:.NET 10 本地 GGUF 推理引擎发布,支持 CUDA/Metal/Vulkan 后端并附 llama.cpp 对比基准

zhongkaifu/TensorSharp

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/zhongkaifu/TensorSharp

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

zhongkaifu 发布 TensorSharp,一个面向本地 GGUF 模型的 .NET 10 推理引擎,支持 CLI、浏览器聊天和 Ollama/OpenAI 兼容 API,后端覆盖纯 C# CPU、CUDA、Metal 和 Vulkan。能力覆盖文本与推理、多模态输入、嵌入向量、Qwen-Image-2.1 图像生成与遮罩编辑、MiniMax-H3 带音频视频生成,以及含沙箱代码执行的 Agent Skills 和受限子智能体。

推荐理由

原文给出与 llama.cpp 同硬件同文件的逐项对比数据和多后端覆盖说明,读者可以据此评估这个 .NET 本地推理引擎是否适合自己上手。

来源:GitHub · 去对齐工具与仓库 · github.com