跳到正文
GitHub · 去对齐工具与仓库·· 6 天前AI 评分54

granite-switch-systemone v0.1.1 发布:在 vLLM 上以插件形式提供 Granite Switch 决策 API

generative-computing/granite-switch-systemone

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/generative-computing/granite-switch-systemone

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

generative-computing 发布 granite-switch-systemone v0.1.1,一个 vLLM 端点插件,在同一服务器和 GPU 缓存上通过 POST /v1/decisions(OpenAI Decisions API 格式)和 POST /v1/systemone(jev 的 system-one API)两个接口提供 Granite Switch 检查点的决策适配器服务。每次问题由单次引擎读取适配器的单 token 选项标签完成,以 softmax 概率返回。8b 检查点可装入单张 80 GB H100,测试版本为 vLLM 0.30.0;Docker 镜像约 30 GB,权重需单独挂载。

来源:GitHub · 去对齐工具与仓库 · github.com