跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分71

Amz34 开源 typed-decision-layer:用类型化决策替代聊天模型做路由判断

Amz34/typed-decision-layer

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Amz34/typed-decision-layer

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Amz34 发布开源仓库 typed-decision-layer,用类型化问题(Choice/Score/Noul)返回概率分布,替代向量检索或聊天模型做技术栈中的小决策路由。生产车道 A/B 实测:与聊天模型命中率相当(26.7% vs 28.3%,6 用例车道 8/8),平均延迟 0.74 s 对 17.15 s(约 23 倍),输出 token 少 17.6 倍,77/77 返回合法概率分布而聊天模型 0/77 需宽容解析器。仓库仅依赖标准库,支持 make verify 离线复现,并总结了候选列表上限、每调用单状态、模型更换后重新校准等七条实践规则。

推荐理由

作者用可离线复现的 A/B 实测对比了类型化决策层与聊天模型的延迟、token 和分布质量,方法可直接搬到自己的技术栈验证。

来源:GitHub · 灵魂体仓库 · github.com