跳到正文
GitHub · 灵魂体仓库·· 21 天前AI 评分47

trained-assist LLM Ladder:一个 OpenAI 兼容的模型梯子端点

trained-assist/trained-assist-llm-ladder

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/trained-assist/trained-assist-llm-ladder

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

trained-assist 仓库推出 LLM Ladder,一个基于 Cloudflare Worker + Durable Object 的 OpenAI 兼容端点:按梯子自上而下尝试命名模型列表,返回第一个成功者的回答,服务于按钮、格式化、分类器、摘要、路由等小型 LLM 调用。config/ladders.json 定义 13 个梯子,分 service 调用、build/plan/explore/general/review 角色、free 上限及 doctor、research 等专用组,无别名,不存在的梯子返回 404。故障梯子按 15s→30s 至 5 min 上限的 backoff 跳过,Go key 轮换自动重试,API 通过 Bearer token 鉴权。

来源:GitHub · 灵魂体仓库 · github.com