跳到正文
GitHub · 灵魂体仓库·· 21 天前精选AI 评分79

geistlib 在 4 GB Raspberry Pi 5 上本地运行 BitNet b1.58 2B-4T

geisten/geistlib

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/geisten/geistlib

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

geistlib 是一个零依赖的 C23 推理引擎,提供单文件二进制,可在 4 GB Raspberry Pi 5 上本地运行 Microsoft BitNet b1.58 2B-4T,无需 Python、模型配置或云端。

推荐理由

给出 Pi 5 上 15–18 t/s 的实测数据,并与 bitnet.cpp、llama.cpp 在同机同 GGUF 下对比,性能判断有据可查。

来源:GitHub · 灵魂体仓库 · github.com