GitHub · 去对齐工具与仓库·· 20 天前AI 评分28
Inferno：从零用 C++/CUDA 实现 Llama 推理引擎的开源项目
pratyushmathur1/inferno
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pratyushmathur1/inferno
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 Inferno 用 C++/CUDA 从零实现 Llama 架构推理引擎，支持 continuous batching、paged KV、prefix caching 与投机解码，可端到端运行 HuggingFace 的 SmolLM2-135M 权重。在 A100 上其 FP32 + cuBLAS 路径达 279 tok/s、TTFT 8.5ms，prefix caching 使 16 并发请求 TTFT 从 1171ms 降至 47ms（24.9×）；吞吐仍不及 vLLM 0.4.2，FP16 为后续工作。
来源：GitHub · 去对齐工具与仓库 · github.com