GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分60
rexlunae/joshua 发布纯 Rust LLM 推理引擎
rexlunae/joshua
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/rexlunae/joshua
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
rexlunae/joshua 是一个纯 Rust 的 LLM 推理引擎，基于 candle 与 tokenizers，无 C/C++ 依赖，只需 Rust 工具链即可 cargo build。它提供 OpenAI 兼容的 /v1/chat/completions、/v1/embeddings、/v1/models 与 SSE 流式输出，支持 llama.cpp 全部 GGUF 量化格式及 AVX-512/AVX2/NEON 融合反量化内核。引擎还包含 mmap 加载与大页、KV 缓存复用、投机解码、可选 CUDA/Metal/OpenCL/Vulkan/SYCL 后端和纯 Rust Whisper 转写。
推荐理由
这份仓库文档把纯 Rust 推理引擎的 mmap 加载、SIMD 反量化内核和 KV 缓存复用逐项写清，可作为本地部署方案的对照参考。
来源：GitHub · 去对齐工具与仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。