agent-on-a-budget 开源项目用小模型分层路由把客服 Agent 成本降到近半

GitHub 项目 agent-on-a-budget 构建了一个客服 AI Agent，用 LLM 标注 1,080 条消息训练小 ML 模型，并按置信度把消息路由到最便宜的助手：ML 模型答简单问题、本地 Ollama 上的 3B 模型答政策问题、云端 LLM 处理退款等工具调用、高额退款转人工。基于 OpenAI gpt-5.4-mini 的 60 条消息实测显示，分层路由比只用云端专家便宜 1.9 倍、快 1.6 倍，55% 消息零成本处理，标注全部消息仅花 $0.07。项目支持 Mac、Windows 和 Linux，内置离线测试、答案缓存重放机制，并提供逐章 Notebook 和 Streamlit 演示应用。