Tiny-LLM 发布 CUDA 原生推理引擎
先了解这件事
holtwood-systems 发布 Tiny-LLM，一个 CUDA 原生 C++ 推理引擎，面向聚焦型 Transformer 工作负载。它已用 Qwen2.5-0.5B（GQA 14→2）和 SmolLM2-360M（GQA 15→5）两个真实 GGUF 模型完成从权重加载到 token 生成的全链路验证，GPU 门禁 252/252 通过、0 skip。 CUDA Graphs decode 默认开启，可用 TLLM_CUDA_GRAPHS=0 显式关闭。在 RTX 3060 上，该功能使 TPOT 下降 37.2%（8.322→5.225 ms）、decode 吞吐提升 59.3%（120.168→191.384 tok/s）；RTX 4090 基线为 2.267 ms/token、441 tok/s。 仓库采用 MIT License。无模型的 ctest 会跳过 GGUF 门控用例；发布前的完整门禁脚本要求两个模型变量都存在，任一测试失败或被跳过都会以非零状态退出。
AI 根据报道生成 · 11 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库Tiny-LLM：CUDA 原生 C++ 推理引擎实现 Qwen2.5-0.5B 与 SmolLM2-360M 端到端生成
Tiny-LLM 是面向聚焦型 Transformer 工作负载的 CUDA 原生 C++ 推理引擎，已用 Qwen2.5-0.5B（GQA 14→2）和 SmolLM2-360M（GQA 15→5）两个真实 GGUF 模型完成从权重加载到 token 生成的全链路验证，GPU 门禁 252/252 通过、0 skip。CUDA Graphs decode 在 RTX 3060 上使 TPOT 下降 37.2%（8.322→5.225 ms）、decode 吞吐提升 59.3%（120.168→191.384 tok/s），RTX 4090 基线为 2.267 ms/token、441 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。