跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分76

ariannamethod/notorch:纯 C 神经网络框架,可训练并直接运行 GGUF 模型

ariannamethod/notorch

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ariannamethod/notorch

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Arianna Method 发布 notorch,一个纯 C 编写、约 6400 行、仅两个文件的神经网络框架,可训练模型并直接推理 llama.cpp 格式的 GGUF 模型,无需 Python、PyTorch 或 llama.cpp。支持 llama、mistral3、qwen2/qwen3、gemma3、olmoe、mamba 等架构,Q4_K 权重保持打包不展开;在 i5-8500T 上与 llama.cpp 同权重温度 0 对照,六个文件中五个逐字节一致,decode 在参考的 1.09x 到 1.14x 内,Mac Mini M4 Pro 可跑 Mistral-Small-24B Q4_K_M 约 13.5 tok/s。

来源:GitHub · 灵魂体仓库 · github.com