GitHub · 灵魂体仓库·· 20 天前AI 评分76
ariannamethod/notorch:纯 C 神经网络框架,可训练并直接运行 GGUF 模型
ariannamethod/notorch
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ariannamethod/notorch
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Arianna Method 发布 notorch,一个纯 C 编写、约 6400 行、仅两个文件的神经网络框架,可训练模型并直接推理 llama.cpp 格式的 GGUF 模型,无需 Python、PyTorch 或 llama.cpp。支持 llama、mistral3、qwen2/qwen3、gemma3、olmoe、mamba 等架构,Q4_K 权重保持打包不展开;在 i5-8500T 上与 llama.cpp 同权重温度 0 对照,六个文件中五个逐字节一致,decode 在参考的 1.09x 到 1.14x 内,Mac Mini M4 Pro 可跑 Mistral-Small-24B Q4_K_M 约 13.5 tok/s。
来源:GitHub · 灵魂体仓库 · github.com