热点事件观察中

开源 C++20 LLM 推理引擎 minillm 发布，面向 SmolLM2-135M

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

开发者 MatiiiBL 在 GitHub 发布 minillm，一个用 C++20 编写的开源 LLM 推理引擎，目标模型为 HuggingFaceTB/SmolLM2-135M（Llama 架构、safetensors 权重）。该项目全程使用 fp32 计算，强调正确性优先于速度：每个内核都配有与 PyTorch 核验过的朴素标量参考实现和优化版本。项目依赖极少（doctest 与 nlohmann/json 由 CMake 获取），checkpoint 约 270 MB，基准测试输出 prefill/decode 吞吐（tokens/s）与峰值内存（RSS），CI 在 Linux 和 macOS 上以单条命令运行完整流水线。

AI 根据报道生成 · 2 天前更新

最新进展10月26日 01:22

minillm：C++20 实现的 LLM 推理引擎

报道时间线

沿着报道，了解事件的不同侧面。

10月26日

01:22
GitHub · 灵魂体仓库
minillm：C++20 实现的 LLM 推理引擎
minillm 是一个用 C++20 编写的 LLM 推理引擎，目标模型为 HuggingFaceTB/SmolLM2-135M（Llama 架构，safetensors 权重），全程 fp32 计算，强调正确性优先于速度。每个内核都有与 PyTorch 核验的朴素标量参考实现和与之核验的优化版本。项目依赖极少（doctest 与 nlohmann/json 由 CMake 获取），checkpoint 约 270 MB，基准测试输出 prefill/decode 吞吐（tokens/s）与峰值 RSS，CI 在 Linux 和 macOS 上以单条命令运行完整流水线。

本事件热度走势

可比范围当前: 3
可比范围峰值: 1010月26日 03:00
近 24 小时变化: -50%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。