openserbia/go-llm 发布,面向自托管推理后端的 Go 客户端库
openserbia 在 GitHub 发布 go-llm,一个用于 OpenAI 兼容推理端点的 Go 客户端库,零标准库外依赖,要求 Go 1.27。库会从后端错误响应和返回字节中检测 LM Studio、Ollama、vLLM、llama.cpp、text-generation-inference 各自缺失的 API 部分,并按 json_schema 到 json_object 到无 response_format 的顺序降级而非失败,结构化输出被后端忽略时视同拒绝,被 token 预算截断时返回 *llm.TruncatedError 提示调高 MaxTokens。
推荐理由:这个 Go 客户端把各自建推理后端实现 OpenAI API 时的差异集中处理,降级策略和截断、溢出的区分写得很具体,对自托管部署有参考价值。