Joshua 纯 Rust 推理引擎发布
先了解这件事
rexlunae 发布 Joshua，一个纯 Rust 的 LLM 推理引擎，基于 candle 与 tokenizers，无 C/C++ 依赖，只需 Rust 工具链即可 cargo build。它提供 OpenAI 兼容的 /v1/chat/completions、/v1/embeddings、/v1/models 与 SSE 流式输出，支持 llama.cpp 全部 GGUF 量化格式及 AVX-512/AVX2/NEON 融合反量化内核，并包含 mmap 加载与大页、KV 缓存复用、投机解码和纯 Rust Whisper 转写。 默认在 CPU 上推理，单次构建也可按调用选择 GPU，可选 CUDA/Metal/OpenCL/Vulkan/SYCL 后端。构建时启用 --features tls 仍需 C 编译器；服务器默认绑定 127.0.0.1，使用明文 HTTP 且无认证，适合本地使用或置于反向代理之后。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选rexlunae/joshua 发布纯 Rust LLM 推理引擎
rexlunae/joshua 是一个纯 Rust 的 LLM 推理引擎，基于 candle 与 tokenizers，无 C/C++ 依赖，只需 Rust 工具链即可 cargo build。它提供 OpenAI 兼容的 /v1/chat/completions、/v1/embeddings、/v1/models 与 SSE 流式输出，支持 llama.cpp 全部 GGUF 量化格式及 AVX-512/AVX2/NEON 融合反量化内核。引擎还包含 mmap 加载与大页、KV 缓存复用、投机解码、可选 CUDA/Metal/OpenCL/Vulkan/SYCL 后端和纯 Rust Whisper 转写。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月6日 13:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。