跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分76

decisio:把大语言模型变成单次前向决策服务层的开源项目

aminry/decisio

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/aminry/decisio

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 decisio 发布,它实现 TypeSafe 的 System One 线格式,把文本问题送入模型、每个问题一次前向传播即可输出各选项概率分布,不生成文本。项目提供 Qwen3.6-35B-A3B、Gemma 4 12B 和 31B 三个基座配置,Gemma 4 31B 在 Decision Index 0.2.1 得 57.58 分、每请求中位 56.0 ms;支持任务注册校准、弃权阈值、图像输入,可通过 GPU、Docker、MLX 或 Ollama 部署,最小 Gemma 标签 8.6 GB 可跑在 16 GB 笔记本上。

推荐理由

项目作者自述的决策服务层实现,给出了三个基座模型的实测精度与延迟对照表,读者可据此评估选型。

来源:GitHub · 灵魂体仓库 · github.com