跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分72

Timiku 发布 vLLM /v1/decisions 类型化决策端点提案与参考实现

Timiku/v1-decisions-vllm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Timiku/v1-decisions-vllm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Timiku 在 GitHub 发布了为 vLLM 提出 /v1/decisions 类型化决策端点的参考实现,基于 vLLM v0.30.0 的 overlay 补丁,将单次 forward pass 读取选项 logit 概率的决策后端统一到一个 API 下。内置 logit、encoder、canvas 三个可插拔后端,并提供兼容 TypeSafe Jev API 的 /v1/systemone 投影端点;该端点拟提交至 vLLM 上游。

推荐理由

原文给出了在 vLLM 上直接读取选项 logit 概率的完整实现与实测数据,读者可以复用这套部署方法而不必额外模型或服务。

来源:GitHub · 灵魂体仓库 · github.com