MoonBit 从零实现端侧 LLM 推理引擎 MoonLM,M0 至 M3 阶段完成
soehi 发布 MoonLM,一个用 MoonBit 从零实现的端侧 LLM 推理引擎,同一份源码可编译到 native 与浏览器 js 后端,产物 669 KB / brotli 74.5 KB,推理零网络、零数据外传。已 GGUF 解析、Transformer 前向与采样(M0/M1)、Web Demo(M2)和带沙箱工具的 Agent 运行时(M3)完成;与 llama.cpp 逐位置对拍 288 位置 argmax 一致率 97.22%,浏览器端 SmolLM2-135M Q8_0 流式生成 6.3 tok/s,native 单线程 decode 18.4 tok/s(纯标量、无 SIMD,比 llama.cpp 单线程 57.2 tok/s 慢约 3.7 倍)。
推荐理由:从零实现的端侧推理引擎,对拍数据、性能数字与零网络验证都给了实测细节,可迁移到自建本地推理项目。