GitHub · 灵魂体仓库·· 17 天前精选AI 评分72
chloe-mp 微调 SmolLM2 做 function calling,并审计 xLAM 基准的评分缺陷
chloe-mp/smollm2-xlam-function-calling
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/chloe-mp/smollm2-xlam-function-calling
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在 Salesforce/xlam-function-calling-60k 上微调 SmolLM2,135M 全量微调达 21.80%,1.7B LoRA 达 83.47%、QLoRA 达 72.61%,Instruct 起点比 base 起点高 8.4 个点。作者还用 LLM-as-judge 加盲审人类复核审计评测本身,估计约 15.0% 的 exact match 失败是对任何模型都无法产出的参考答案打分,高于此的原始 20.5% 被修正;1.7B 微调模型与 235B 通用模型在 300 例子集上统计上无显著差异。仓库含完整训练、评测、judge 审计脚本与模型和数据集产物。
推荐理由
作者在给出微调结果的同时,用盲审人类复核修正了基准里不可推导参考答案的比例,评测方法本身值得细读。
来源:GitHub · 灵魂体仓库 · github.com