GitHub · 灵魂体仓库·· 5 天前精选AI 评分70
MoonBit 从零实现端侧 LLM 推理引擎 MoonLM,M0 至 M3 阶段完成
soehi/moonlm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/soehi/moonlm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
soehi 发布 MoonLM,一个用 MoonBit 从零实现的端侧 LLM 推理引擎,同一份源码可编译到 native 与浏览器 js 后端,产物 669 KB / brotli 74.5 KB,推理零网络、零数据外传。已 GGUF 解析、Transformer 前向与采样(M0/M1)、Web Demo(M2)和带沙箱工具的 Agent 运行时(M3)完成;与 llama.cpp 逐位置对拍 288 位置 argmax 一致率 97.22%,浏览器端 SmolLM2-135M Q8_0 流式生成 6.3 tok/s,native 单线程 decode 18.4 tok/s(纯标量、无 SIMD,比 llama.cpp 单线程 57.2 tok/s 慢约 3.7 倍)。
推荐理由
从零实现的端侧推理引擎,对拍数据、性能数字与零网络验证都给了实测细节,可迁移到自建本地推理项目。
来源:GitHub · 灵魂体仓库 · github.com