GitHub · 去对齐工具与仓库·· 4 天前精选AI 评分56
Rust 从零实现的 LLM 推理服务器 denno-beta 开源,兼容 Anthropic Messages API
ahinore/denno-beta
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ahinore/denno-beta
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ahinore 开源了用 Rust 从零实现的 LLM 推理服务器 denno-beta,推理内核不依赖 candle 等现有库,兼容 Anthropic Messages API,可直接配合官方 Anthropic Python SDK 使用。支持 GPT-2 124M 与 Qwen2.5-0.5B–7B-Instruct、Qwen3-0.6B、Qwen3.5 等模型,默认 CPU 运行,可通过 --features cuda 卸载到手写 CUDA 内核(13,252-token prefill 从 395.8s 降到 12.2s)。
推荐理由
推理内核完全从零手写并保持精确解码约束,附 CUDA 加速与可视化遥测,适合想从代码理解 LLM 推理全流程的读者。
来源:GitHub · 去对齐工具与仓库 · github.com