GitHub · 灵魂体仓库·· 20 天前精选AI 评分72
Timiku 发布 vLLM /v1/decisions 类型化决策端点提案与参考实现
Timiku/v1-decisions-vllm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Timiku/v1-decisions-vllm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Timiku 在 GitHub 发布了为 vLLM 提出 /v1/decisions 类型化决策端点的参考实现,基于 vLLM v0.30.0 的 overlay 补丁,将单次 forward pass 读取选项 logit 概率的决策后端统一到一个 API 下。内置 logit、encoder、canvas 三个可插拔后端,并提供兼容 TypeSafe Jev API 的 /v1/systemone 投影端点;该端点拟提交至 vLLM 上游。
推荐理由
原文给出了在 vLLM 上直接读取选项 logit 概率的完整实现与实测数据,读者可以复用这套部署方法而不必额外模型或服务。
来源:GitHub · 灵魂体仓库 · github.com