GitHub · 去对齐工具与仓库·· 21 天前精选AI 评分65
yusiwen 开源纯 Rust 本地 LLM 推理引擎 minfer
yusiwen/minfer
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/yusiwen/minfer
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布纯 Rust 从零实现的本地 LLM 推理引擎 minfer，无 ML 框架依赖，支持 GGUF v3 加载、声明式计算图、浏览器交互可视化及 Metal/CUDA 后端。
推荐理由
作者给出与 llama.cpp 同窗口对照的实测数据，包括 7B Q4_K_M prefill 1.080× 和各上下文长度的 decode 对比，可据此评估这个纯 Rust 引擎的性能。
来源：GitHub · 去对齐工具与仓库 · github.com