跳到正文
GitHub · 灵魂体仓库·· 5 天前精选AI 评分70

MoonBit 从零实现端侧 LLM 推理引擎 MoonLM,M0 至 M3 阶段完成

soehi/moonlm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/soehi/moonlm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

soehi 发布 MoonLM,一个用 MoonBit 从零实现的端侧 LLM 推理引擎,同一份源码可编译到 native 与浏览器 js 后端,产物 669 KB / brotli 74.5 KB,推理零网络、零数据外传。已 GGUF 解析、Transformer 前向与采样(M0/M1)、Web Demo(M2)和带沙箱工具的 Agent 运行时(M3)完成;与 llama.cpp 逐位置对拍 288 位置 argmax 一致率 97.22%,浏览器端 SmolLM2-135M Q8_0 流式生成 6.3 tok/s,native 单线程 decode 18.4 tok/s(纯标量、无 SIMD,比 llama.cpp 单线程 57.2 tok/s 慢约 3.7 倍)。

推荐理由

从零实现的端侧推理引擎,对拍数据、性能数字与零网络验证都给了实测细节,可迁移到自建本地推理项目。

来源:GitHub · 灵魂体仓库 · github.com