跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分49

PULSAR-ASM:5 KB 纯 x86-64 汇编引擎驱动 Gemma-2B 推理

tomtsai28/PULSAR-ASM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/tomtsai28/PULSAR-ASM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源项目 PULSAR-ASM 用 5,268 字节的纯 x86-64 机器码在 CPU 上直接驱动 Google Gemma-2B-IT(20 亿参数 FP16),零 C 运行时库、零第三方依赖、零 Python。引擎对 4.67 GB 权重实现 4.04~4.41 Tokens/sec 推理(较标准 CPU 框架提速 300%~400%),频谱剪裁实验达 7.32 Tokens/sec,需 AVX2/F16C 指令集与 8 GB RAM。项目还包含 18 层 latent 遥测与因果幻觉诊断功能,可在 Layer 15 定位幻觉发生层,并计划平移至 ARM Cortex-M 与 RISC-V。

来源:GitHub · 灵魂体仓库 · github.com