GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分72
PULSAR-ASM 发布:纯汇编在树莓派 4 跑 Gemma-3,C + NEON 在 DGX Spark CPU 跑 Ternary-Bonsai
vieenrose/PULSAR-ASM
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vieenrose/PULSAR-ASM
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
vieenrose 发布 PULSAR-ASM 仓库,在 Raspberry Pi 4 上用单个静态 AArch64 汇编二进制推理 Gemma-3 检查点(270m 约 6.8 tok/s,1B 约 1.8 tok/s),并在 DGX Spark 上以 C + NEON 纯 CPU 端口运行 Ternary-Bonsai 三元权重模型(27B PTQ1_0 约 7.9 tok/s,8B 约 28 tok/s)。仓库给出与 transformers 及参考服务器逐 token 一致的贪心对齐验证、固定种子下逐字节可复现的输出、从 GGUF/safetensors 头读取维度的单二进制设计,另含 K2-Horizon-0.9B 的纯汇编端口及其会议纪要微调版本演示。
推荐理由
纯汇编与 NEON 移植在 Pi 和 DGX Spark 上跑通多个开源模型,并给出与参考实现逐 token 对齐的验证细节。
来源:GitHub · 去对齐工具与仓库 · github.com