跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分62

OperatorLM 发布:单二进制本地 LLM 代理,支持多账号故障转移与本地 GGUF 推理

aralde/operatorlm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/aralde/operatorlm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

aralde 在 GitHub 发布 OperatorLM,一个本地 OpenAI 兼容代理,单二进制即可在多个 OpenAI、OpenRouter、Groq、Gemini、Anthropic 等上游间做多账号别名与故障转移。API 密钥存于系统钥匙串而非磁盘,默认监听 127.0.0.1:11434 与 Ollama 相同端口,内置 llama.cpp 可本地运行 GGUF 聊天、视觉、嵌入模型及 Whisper STT 和 Piper TTS,另原生支持 /v1/messages Anthropic 兼容端点和实验性的 ChatGPT Plus/Pro OAuth 后端。

推荐理由

单二进制本地代理可同时管理多账号故障转移、密钥入系统钥匙串与本地 GGUF 推理,读者能对照配置示例评估是否替代 Ollama。

来源:GitHub · 灵魂体仓库 · github.com