GitHub · 灵魂体仓库·· 4 天前精选AI 评分61
openserbia/go-llm 发布，面向自托管推理后端的 Go 客户端库
openserbia/go-llm
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/openserbia/go-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
openserbia 在 GitHub 发布 go-llm，一个用于 OpenAI 兼容推理端点的 Go 客户端库，零标准库外依赖，要求 Go 1.27。库会从后端错误响应和返回字节中检测 LM Studio、Ollama、vLLM、llama.cpp、text-generation-inference 各自缺失的 API 部分，并按 json_schema 到 json_object 到无 response_format 的顺序降级而非失败，结构化输出被后端忽略时视同拒绝，被 token 预算截断时返回 *llm.TruncatedError 提示调高 MaxTokens。
推荐理由
这个 Go 客户端把各自建推理后端实现 OpenAI API 时的差异集中处理，降级策略和截断、溢出的区分写得很具体，对自托管部署有参考价值。
来源：GitHub · 灵魂体仓库 · github.com