Qwen3.5小模型函数调用蒸馏对比项目发布

joaomigueloliveira 发布了一个 Qwen3.5 小模型函数调用蒸馏对比项目，在同一函数调用任务、同一 held-out 集和单张消费级 GPU 上对比三种知识蒸馏方式：对教师输出做 SFT（序列级蒸馏）、对教师 top-k token 概率做 Logit 蒸馏，以及学生生成、教师逐 token 打分的 On-policy 蒸馏。 任务基于 Salesforce/xlam-function-calling-60k，用确定性评分器计算 parse_ok、exact、names 和 arg_f1，不使用 LLM judge。数据划分为 train 56,392、validation 1,000、test 2,000，结果仍在进行中。 项目运行需 uv、用于推理/训练的 NVIDIA GPU，以及访问受限数据集（需在数据集页面接受条款后执行 uv run hf auth login）；uv sync 安装基础与开发工具不需要 GPU。

AI 根据报道生成 · 7 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。