GitHub · 去对齐工具与仓库·· 6 天前AI 评分54
granite-switch-systemone v0.1.1 发布:在 vLLM 上以插件形式提供 Granite Switch 决策 API
generative-computing/granite-switch-systemone
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/generative-computing/granite-switch-systemone
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
generative-computing 发布 granite-switch-systemone v0.1.1,一个 vLLM 端点插件,在同一服务器和 GPU 缓存上通过 POST /v1/decisions(OpenAI Decisions API 格式)和 POST /v1/systemone(jev 的 system-one API)两个接口提供 Granite Switch 检查点的决策适配器服务。每次问题由单次引擎读取适配器的单 token 选项标签完成,以 softmax 概率返回。8b 检查点可装入单张 80 GB H100,测试版本为 vLLM 0.30.0;Docker 镜像约 30 GB,权重需单独挂载。
来源:GitHub · 去对齐工具与仓库 · github.com