GitHub · 去对齐工具与仓库·· 21 分钟前AI 评分40
Tiny-LLM：CUDA 原生 C++ 推理引擎实现 Qwen2.5-0.5B 与 SmolLM2-360M 端到端生成
holtwood-systems/tiny-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/holtwood-systems/tiny-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Tiny-LLM 是面向聚焦型 Transformer 工作负载的 CUDA 原生 C++ 推理引擎，已用 Qwen2.5-0.5B（GQA 14→2）和 SmolLM2-360M（GQA 15→5）两个真实 GGUF 模型完成从权重加载到 token 生成的全链路验证，GPU 门禁 252/252 通过、0 skip。CUDA Graphs decode 在 RTX 3060 上使 TPOT 下降 37.2%（8.322→5.225 ms）、decode 吞吐提升 59.3%（120.168→191.384 tok/s），RTX 4090 基线为 2.267 ms/token、441 tok/s。
来源：GitHub · 去对齐工具与仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。