GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分64
naso-llm:基于 Naso 形式化验证编译器的离线浏览器聊天机器人开源
naso-lang/naso-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/naso-lang/naso-llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
naso-lang 在 GitHub 开源 naso-llm,一个可离线运行的浏览器聊天机器人,使用 SmolLM2-135M-Instruct,其 int8 权重量化由 Naso 形式化验证编译器生成,无需服务器、API key 或运行时构建。首次加载下载 269 MB 检查点后由 service worker 缓存,断网可用;2 核 CPU 上解码约 6.5 tokens/s。项目提供 17 项验证检查,包括与 Rust tokenizers 的 27/27 分词一致、基于 NumPy 独立实现的 forward 误差 max|Δ| 1.03e-5、106M 权重上 int8 误差界 |W−W′|≤scale/2 零违例、KV cache 与全序列 bit-identical 等。
推荐理由
项目用形式化验证的编译器生成 int8 量化内核,并给出 17 项独立校验和逐项误差数据,可复用的验证思路比较少见。
来源:GitHub · 去对齐工具与仓库 · github.com