GitHub · 去对齐工具与仓库·· 21 分钟前AI 评分40
Qwen3.5 小模型函数调用蒸馏对比:SFT、Logit 蒸馏与 On-policy 蒸馏
joaomigueloliveira/qwen-function-calling-distillation
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/joaomigueloliveira/qwen-function-calling-distillation
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
该项目在同一函数调用任务、同一 held-out 集和单张消费级 GPU 上对比三种知识蒸馏方式:对教师输出做 SFT(序列级蒸馏)、对教师 top-k token 概率做 Logit 蒸馏,以及学生生成、教师逐 token 打分的 On-policy 蒸馏。任务基于 Salesforce/xlam-function-calling-60k,用确定性评分器计算 parse_ok、exact、names 和 arg_f1,不使用 LLM judge。数据划分为 train 56,392、validation 1,000、test 2,000,结果仍在进行中。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。