GitHub · 去对齐工具与仓库·· 7 天前AI 评分48
Deliverance：一个 Java 推理引擎
edwardcapriolo/deliverance
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/edwardcapriolo/deliverance
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Deliverance 是一个 Java 推理引擎，支持文本生成、tokenization、嵌入向量计算和文本分类，可作为嵌入式 API 或 HTTP 服务运行，并支持从 HuggingFace 自动下载模型。它支持 nvidia/Nemotron-Labs-Diffusion-3B 系列，可同时进行自回归和 block-diffusion 风格生成，并提供 KVCache2、实验性 TurboQuant KV 存储等特性。相比 VLLM 的 20GB 镜像和 60GB docker 层，Deliverance 更轻量，适合嵌入式推理场景。
来源：GitHub · 去对齐工具与仓库 · github.com