GitHub · 去对齐工具与仓库·· 19 天前AI 评分50
AI4ME_LLM_Tools:基于 Ollama 的容器化转写处理 FastAPI 服务
PaulWU1996/AI4ME_LLM_Tools
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/PaulWU1996/AI4ME_LLM_Tools
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
PaulWU1996 在 GitHub 发布 AI4ME_LLM_Tools,一个容器化 FastAPI 服务,用本地 Ollama 模型处理转写文本,外部编排器通过 POST /process 提交 job_id 和 mode,结果写入共享卷的 output. 并可选 upsert 到 MongoDB。服务内置 summary 和 tagging 两种模式,提示词由可覆盖的 requirements 与固定的输出结构文件组成,编辑 config/model.txt 即可在请求间切换模型而无需重启;3B 模型在 CPU 上推理 15–90 秒,RTX 4090 等 GPU 上 1–5 秒。
来源:GitHub · 去对齐工具与仓库 · github.com