GitHub · 灵魂体仓库·· 20 天前AI 评分64
local-model-harness 发布 FastAPI 模板,统一管理 Open WebUI/BoltAI 与本地推理服务间的策略层
punisher1-1/local-model-harness
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/punisher1-1/local-model-harness
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
punisher1-1 发布 local-model-harness,一个 Python/FastAPI 模板,通过 OpenAI 兼容接口 (:8200/v1) 控制 vLLM 等本地推理服务,供 Open WebUI 或 BoltAI 调用。harness 负责策略与生成参数,推理服务负责模型加载和 GPU 执行,内置 local-assistant、local-creative、local-research 等六个默认 profile,多个 profile 可复用同一已加载模型;含基于 Qwen3.8-27B 模型卡的确切 ID 预设、上下文压缩、可选的记忆存储和只读 research 工具,记忆与身份验证默认关闭需另行配置。
来源:GitHub · 灵魂体仓库 · github.com