开源发布 veriserve 可验证推理引擎
热点事件历史事件
开源发布 veriserve 可验证推理引擎
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
开发者 yuxuandexter 在 GitHub 开源发布 veriserve,一个基于 mini-sglang 与 Mooncake GPUDirect RDMA 的可验证 LLM 服务引擎,采用 MIT 许可证,实现 Prefill-Decode 分离。 该引擎用单一版本化 KV 页状态机 PdLedger 取代分散的本地计数器和超时启发式,通过 FREE、PRIVATE、SHARED、DRAINING、QUARANTINED 五个状态保证隔离性、完整性、终局性和守恒性。项目还提供含 64 个动作、54 个归纳不变量的 PdCore.tla 形式化规范、TLAPS 证明和 trace 校验脚本,目前支持 Qwen3-0.6B 的 1P1D 分离部署。
AI 根据报道生成 · 4 天前更新
最新进展11月11日 12:56
veriserve:基于 mini-sglang 与 Mooncake RDMA 的可验证 LLM 服务引擎报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- GitHub · 灵魂体仓库veriserve:基于 mini-sglang 与 Mooncake RDMA 的可验证 LLM 服务引擎
veriserve 是一个可验证的 LLM 服务引擎,基于 mini-sglang 和 Mooncake GPUDirect RDMA 实现 Prefill-Decode 分离。它用单一版本化 KV 页状态机 PdLedger 取代分散的本地计数器和超时启发式,通过 FREE、PRIVATE、SHARED、DRAINING、QUARANTINED 五个状态强制 Isolation、Integrity、Finality 和 Conservation。项目提供 PdCore.tla 形式化规范(64 个动作、54 个归纳不变量)、TLAPS 证明和 trace 校验脚本,并支持 Qwen3-0.6B 的 1P1D 分离部署。