GitHub · 灵魂体仓库·· 20 天前AI 评分29
ebowh/hf.cpu:面向小内存设备的 C99 纯 CPU LLM 推理引擎仓库
ebowh/hf.cpu
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ebowh/hf.cpu
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 ebowh/hf.cpu 是一个用 C99 编写的纯 CPU LLM 推理引擎,面向 AVX2 笔记本等小型内存受限机器,可读取 llama.cpp 和 ik_llama.cpp 的 GGUF 文件,仅通过 stdin/stdout/stderr 通信,适合由管道或 Emacs 驱动。项目目前处于 phase 0 基础阶段,尚无推理功能,已实现并测试的内容包括带故障注入的内存分配检查、Linux/macOS 平台层、经 fuzz 测试的 GGUF v2/v3 读取器,以及支持 18 种类型的反量化器。
来源:GitHub · 灵魂体仓库 · github.com