跳到正文
更多
GitHub · 灵魂体仓库·· 1 天前AI 评分23

ChainRouteLLM:可替换证据存储后端的实验性 LLM 路由项目

yigitskaplan/ChainRouteLLM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/yigitskaplan/ChainRouteLLM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ChainRouteLLM 是一个实验性 LLM 路由项目,支持可互换的证据存储后端,基于 RouterBench 数据用 BERT 嵌入预测各模型的准确率与成本,并按 score = accuracy − w_C × cost / c 选模型。实现分三阶段:先做路由器,再做声誉分,最后接入区块链账本;目前仅完成基于本地反馈存储的基础路由器,可执行 runner 尚未实现。项目还支持在线学习,并按 MixLLM 的 11 模型、80/20 划分设置进行对比实验。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。