跳到正文
Reddit · r/LocalLLaMA· /u/The_VibePreneur·· 13 天前精选AI 评分63

BitRun:面向 1-bit 三值 LLM 的零编译独立运行器,M4 Pro CPU 达 98-127 tokens/s

I built BitRun: A standalone runner for 1-bit LLMs (100–127 t/s on Apple Silicon & 40–45 t/s on PC CPUs with zero compile)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/The_VibePreneur

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x5pao2/i_built_bitrun_a_standalone_runner_for_1bit_llms/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/The_VibePreneur 发布 BitRun,一个无需编译即可运行 1-bit 三值 LLM 的独立运行器,在 Apple M4 Pro CPU 上跑出 98-127 tokens/s,Intel i5-12600K 上 40-45 tokens/s,全程 0% GPU 占用。作者为此修复了 Microsoft bitnet.cpp 的多处底层 C++ 内核 bug(batch stride 覆写、ARM NEON 块大小硬编码导致 @ @ @ 死循环、SiLU 与 squared ReLU 激活不匹配、多轮对话 BLAS 越界崩溃),并提交 PR #642 和 #644。

推荐理由

作者修复了 bitnet.cpp 的多处底层内核 bug 并封装成零编译的一键运行器,实测数据可直接对照自己的 CPU 场景判断是否可用。

来源:Reddit · r/LocalLLaMA · reddit.com