跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分62

SLM-agent-Lab 实测小型模型工具调用能力的压缩极限与失败模式

Gangadhar017/SLM-agent-Lab

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Gangadhar017/SLM-agent-Lab

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者开源 SLM-agent-Lab,用 4 个确定性工具、300 个精确答案任务和 13 类失败分类法评测小型工具调用模型。在 150 任务子集上 Granite 4.0 350M 达 58.0%、Qwen2.5 0.5B 仅 31.3%,多步链式任务两者都接近崩溃(8% 和 4%),OOD 任务使 Granite 从 65.5% 跌至 29.0%。

推荐理由

实测给出 Granite 4.0 350M 与 Qwen2.5 0.5B 的工具调用失败分布,并量化到 int4 时格式保真才是精度下限。

来源:GitHub · 去对齐工具与仓库 · github.com