GitHub · 灵魂体仓库·· 21 小时前AI 评分33
minillm：C++20 实现的 LLM 推理引擎
MatiiiBL/LLM-inference-engine
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/MatiiiBL/LLM-inference-engine
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
minillm 是一个用 C++20 编写的 LLM 推理引擎，目标模型为 HuggingFaceTB/SmolLM2-135M（Llama 架构，safetensors 权重），全程 fp32 计算，强调正确性优先于速度。每个内核都有与 PyTorch 核验的朴素标量参考实现和与之核验的优化版本。项目依赖极少（doctest 与 nlohmann/json 由 CMake 获取），checkpoint 约 270 MB，基准测试输出 prefill/decode 吞吐（tokens/s）与峰值 RSS，CI 在 Linux 和 macOS 上以单条命令运行完整流水线。
来源：GitHub · 灵魂体仓库 · github.com