跳到正文
GitHub · 去对齐工具与仓库·· 7 天前AI 评分31

RuneForgeAI Project Aesir:本地 AI 推理引擎的速度路线图与 CUDA 效率进展

hrabanazviking/RuneForgeAI-Project-Aesir

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hrabanazviking/RuneForgeAI-Project-Aesir

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Project A.E.S.I.R. 是一个用 Mojo 编写的实验性本地 AI 推理引擎,目标是让普通 AI 应用直接在自有硬件上运行模型。其速度路线图计划在指定工作负载上比当前 Ollama 快 2 倍(冲刺目标 3 倍),目前缓存 32-token 工作接近持平,长输入和 128-token 输出仍落后。在 Llama 3.2 3B/RTX 2060 子集上,原生 CUDA 路径比上一版本再快 1.60–1.66x,已可运行 Gemma、Llama 3/Stheno 和 Qwen 系列测试模型。

来源:GitHub · 去对齐工具与仓库 · github.com