跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分29

ebowh/hf.cpu:面向小内存设备的 C99 纯 CPU LLM 推理引擎仓库

ebowh/hf.cpu

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ebowh/hf.cpu

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 ebowh/hf.cpu 是一个用 C99 编写的纯 CPU LLM 推理引擎,面向 AVX2 笔记本等小型内存受限机器,可读取 llama.cpp 和 ik_llama.cpp 的 GGUF 文件,仅通过 stdin/stdout/stderr 通信,适合由管道或 Emacs 驱动。项目目前处于 phase 0 基础阶段,尚无推理功能,已实现并测试的内容包括带故障注入的内存分配检查、Linux/macOS 平台层、经 fuzz 测试的 GGUF v2/v3 读取器,以及支持 18 种类型的反量化器。

来源:GitHub · 灵魂体仓库 · github.com