GitHub · 灵魂体仓库·· 23 天前精选AI 评分76
纯 Go 推理库 goinfer 发布,可在 Go 程序内直接运行开放权重 LLM
townsendmerino/goinfer
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/townsendmerino/goinfer
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
goinfer 让开放权重 LLM 直接在 Go 程序内运行,纯 Go 无 cgo,支持 CUDA、Metal 与 CPU,覆盖 40 个模型家族并通过 HuggingFace logit 一致性门禁。核心特性是结构化约束生成:从 Go struct 派生 JSON Schema 并以 logit 掩码保证输出合法,工具调用在 Qwen、Nemotron-3-Nano 等家族上不会格式错误。提供 goinfer-serve(OpenAI 和 Anthropic API、web UI)与单文件模型二进制,1.5B 模型加运行时单个文件约 0.4 秒启动、堆内存低于 100 MB。
推荐理由
README 写明了与 Ollama 的同机对照数据、未占优的场景和每条数字的机器与日期,读者可据此判断这个纯 Go 推理库的适用边界。
来源:GitHub · 灵魂体仓库 · github.com