开源 LLM 代理 Olla 发布 v0.1.0，支持多后端路由与故障转移
热点事件观察中
开源 LLM 代理 Olla 发布 v0.1.0，支持多后端路由与故障转移
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
开源 LLM 代理 Olla 发布 v0.1.0（其第 25 个版本）。Olla 是一个用 Go 编写的轻量代理和负载均衡器，面向 homelab 与本地推理场景，支持 Ollama、vLLM、SGLang、llama.cpp、LM Studio、MLX 等多种推理运行时。 v0.1.0 新增 Hugging Face TEI 支持（嵌入、重排序、分类）、重做 dashboard、可配置重试与故障转移行为，并具备模型感知路由、粘性会话、OpenAI 与 Anthropic 兼容接口、Prometheus 指标等能力。项目可通过单个 Go 二进制或 Docker 部署，无需数据库或外部服务，项目地址为 https://github.com/thushan/olla。
AI 根据报道生成 · 8 小时前更新
最新进展11月3日 19:13
开源 LLM 代理 Olla 发布 v0.1.0，支持多推理后端统一路由与故障转移报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- Reddit · r/LocalLLaMA精选开源 LLM 代理 Olla 发布 v0.1.0，支持多推理后端统一路由与故障转移
Olla 发布 v0.1.0（第 25 个版本），这是一个用 Go 编写的轻量开源 LLM 代理和负载均衡器，面向 homelab 与本地推理场景，支持 Ollama、vLLM、SGLang、llama.cpp、LM Studio、MLX 等多种推理运行时。v0.1.0 新增 Hugging Face TEI 支持（嵌入、重排序、分类）、重做 dashboard、可配置重试与故障转移行为、改进模型能力检测，并提供模型感知路由、粘性会话、OpenAI 与 Anthropic 兼容接口、Prometheus 指标等能力，单二进制或 Docker 部署，无需数据库。项目地址 https://github.com/thushan/olla
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。