GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分62
SLM-agent-Lab 实测小型模型工具调用能力的压缩极限与失败模式
Gangadhar017/SLM-agent-Lab
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Gangadhar017/SLM-agent-Lab
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者开源 SLM-agent-Lab,用 4 个确定性工具、300 个精确答案任务和 13 类失败分类法评测小型工具调用模型。在 150 任务子集上 Granite 4.0 350M 达 58.0%、Qwen2.5 0.5B 仅 31.3%,多步链式任务两者都接近崩溃(8% 和 4%),OOD 任务使 Granite 从 65.5% 跌至 29.0%。
推荐理由
实测给出 Granite 4.0 350M 与 Qwen2.5 0.5B 的工具调用失败分布,并量化到 int4 时格式保真才是精度下限。
来源:GitHub · 去对齐工具与仓库 · github.com