GitHub · 去对齐工具与仓库·· 21 天前精选AI 评分77
SparkInfer 发布面向 Blackwell GPU 的 C++/CUDA 推理运行时
gittensor-ai-lab/sparkinfer
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/gittensor-ai-lab/sparkinfer
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
gittensor-ai-lab 在 GitHub 开源 SparkInfer，一个面向 Blackwell GPU 的原生 C++/CUDA MoE/LLM 解码运行时，2.5 MB 二进制、无 Python 栈，一条 docker 命令即可起 OpenAI 兼容端点。
推荐理由
原文给出同一 GPU 上与 llama.cpp 和 vLLM 的逐项对比数据，读者可以据此判断这个 Blackwell 原生推理引擎的实际加速幅度。
来源：GitHub · 去对齐工具与仓库 · github.com