agentic-incubator 开源 ruflo-local 本地模型分流网关仓库

agentic-incubator 发布 ruflo-local 仓库，目标是将约 90% 的 LLM 流量路由到自有硬件上的开放权重模型，约 10% 留给 Claude / GPT / Gemini 等前沿 API。方案带故障回落、硬预算上限、永不离开本机的隐私通道，网关默认 LiteLLM + Ollama，另有 Bifrost、Helicone 实验变体和可选 vLLM（NVIDIA GPU）配置，附 Prometheus 与 Grafana 监控面板。仓库说明 90/10 是结构化目标而非学习型路由器，可选 RouteLLM 配置提供学习型调节；Apple Silicon 走 MLX、其他硬件走 GGUF，需运行 make render 生成硬件专属配置，官方称模型拉取完成后约 10 分钟可跑通。