跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分39

veriserve:基于 mini-sglang 与 Mooncake RDMA 的可验证 LLM 服务引擎

yuxuandexter/veriserve

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/yuxuandexter/veriserve

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

veriserve 是一个可验证的 LLM 服务引擎,基于 mini-sglang 和 Mooncake GPUDirect RDMA 实现 Prefill-Decode 分离。它用单一版本化 KV 页状态机 PdLedger 取代分散的本地计数器和超时启发式,通过 FREE、PRIVATE、SHARED、DRAINING、QUARANTINED 五个状态强制 Isolation、Integrity、Finality 和 Conservation。项目提供 PdCore.tla 形式化规范(64 个动作、54 个归纳不变量)、TLAPS 证明和 trace 校验脚本,并支持 Qwen3-0.6B 的 1P1D 分离部署。

来源:GitHub · 灵魂体仓库 · github.com