跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分64

local-model-harness 发布 FastAPI 模板,统一管理 Open WebUI/BoltAI 与本地推理服务间的策略层

punisher1-1/local-model-harness

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/punisher1-1/local-model-harness

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

punisher1-1 发布 local-model-harness,一个 Python/FastAPI 模板,通过 OpenAI 兼容接口 (:8200/v1) 控制 vLLM 等本地推理服务,供 Open WebUI 或 BoltAI 调用。harness 负责策略与生成参数,推理服务负责模型加载和 GPU 执行,内置 local-assistant、local-creative、local-research 等六个默认 profile,多个 profile 可复用同一已加载模型;含基于 Qwen3.8-27B 模型卡的确切 ID 预设、上下文压缩、可选的记忆存储和只读 research 工具,记忆与身份验证默认关闭需另行配置。

来源:GitHub · 灵魂体仓库 · github.com