跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分65

Rust 推理库 Kjarni 发布:无 Python 单原生库支持 C#、Go、C++ 与浏览器

olafurjohannsson/kjarni

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/olafurjohannsson/kjarni

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

olafurjohannsson 发布 Rust 从零实现的 Transformer 推理库 Kjarni,以单个共享库为 C#、Go、C++、Rust、Python、CLI 和浏览器 WASM 提供本地推理,无需 Python 或服务端。支持嵌入、分类、重排、混合搜索、Whisper 语音转写、摘要、翻译和 CLIP 图像搜索,模型首次使用时下载并缓存,之后完全离线。实测显示 CPU 上嵌入结果与 PyTorch 一致到 1e-6,MiniLM 加载 91 ms、仅占 272 MB 内存,语音转写达 8.6× 实时倍速;生成速度约为 llama.cpp 的 50 到 87%,GPU 走 WebGPU 而非 CUDA。

推荐理由

同一引擎以原生库覆盖 C#、Go、C++、Rust 和浏览器,还给出与 ONNX Runtime、PyTorch 的逐项对比和延迟内存数据,便于选型。

来源:GitHub · 灵魂体仓库 · github.com