跳到正文
热点事件历史事件

开源发布 veriserve 可验证推理引擎

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

开发者 yuxuandexter 在 GitHub 开源发布 veriserve,一个基于 mini-sglang 与 Mooncake GPUDirect RDMA 的可验证 LLM 服务引擎,采用 MIT 许可证,实现 Prefill-Decode 分离。 该引擎用单一版本化 KV 页状态机 PdLedger 取代分散的本地计数器和超时启发式,通过 FREE、PRIVATE、SHARED、DRAINING、QUARANTINED 五个状态保证隔离性、完整性、终局性和守恒性。项目还提供含 64 个动作、54 个归纳不变量的 PdCore.tla 形式化规范、TLAPS 证明和 trace 校验脚本,目前支持 Qwen3-0.6B 的 1P1D 分离部署。

AI 根据报道生成 · 4 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. GitHub · 灵魂体仓库
    veriserve:基于 mini-sglang 与 Mooncake RDMA 的可验证 LLM 服务引擎

    veriserve 是一个可验证的 LLM 服务引擎,基于 mini-sglang 和 Mooncake GPUDirect RDMA 实现 Prefill-Decode 分离。它用单一版本化 KV 页状态机 PdLedger 取代分散的本地计数器和超时启发式,通过 FREE、PRIVATE、SHARED、DRAINING、QUARANTINED 五个状态强制 Isolation、Integrity、Finality 和 Conservation。项目提供 PdCore.tla 形式化规范(64 个动作、54 个归纳不变量)、TLAPS 证明和 trace 校验脚本,并支持 Qwen3-0.6B 的 1P1D 分离部署。