开源 LLM 代理 Olla 发布 v0.1.0，支持多推理后端统一路由与故障转移
Olla v0.1.0 - Lightweight open-source LLM proxy for homelabs & on-prem inference (Ollama, vLLM, SGLang, llama.cpp, oMLX with failover, sticky sessions & load balancing)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/2shanigans
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xmq913/olla_v010_lightweight_opensource_llm_proxy_for/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
Olla 发布 v0.1.0（第 25 个版本），这是一个用 Go 编写的轻量开源 LLM 代理和负载均衡器，面向 homelab 与本地推理场景，支持 Ollama、vLLM、SGLang、llama.cpp、LM Studio、MLX 等多种推理运行时。v0.1.0 新增 Hugging Face TEI 支持（嵌入、重排序、分类）、重做 dashboard、可配置重试与故障转移行为、改进模型能力检测，并提供模型感知路由、粘性会话、OpenAI 与 Anthropic 兼容接口、Prometheus 指标等能力，单二进制或 Docker 部署，无需数据库。项目地址 https://github.com/thushan/olla
作者作为开发方介绍了 Go 写的推理代理如何统一多后端路由、负载均衡与故障转移，部署方式轻量，适合多机混合推理环境参考。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。