GitHub · 灵魂体仓库·· 19 天前精选AI 评分76
decisio:把大语言模型变成单次前向决策服务层的开源项目
aminry/decisio
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/aminry/decisio
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 decisio 发布,它实现 TypeSafe 的 System One 线格式,把文本问题送入模型、每个问题一次前向传播即可输出各选项概率分布,不生成文本。项目提供 Qwen3.6-35B-A3B、Gemma 4 12B 和 31B 三个基座配置,Gemma 4 31B 在 Decision Index 0.2.1 得 57.58 分、每请求中位 56.0 ms;支持任务注册校准、弃权阈值、图像输入,可通过 GPU、Docker、MLX 或 Ollama 部署,最小 Gemma 标签 8.6 GB 可跑在 16 GB 笔记本上。
推荐理由
项目作者自述的决策服务层实现,给出了三个基座模型的实测精度与延迟对照表,读者可据此评估选型。
来源:GitHub · 灵魂体仓库 · github.com