新闻、仓库与研究，按时间排列。
Anhao Zhao 等提出 DIAL-OPD，一种在线策略蒸馏中的 token 选择方法，用教师与学生概率的对数均值加权奖励，保留得分最高的 token。在 4 组师生模型和 7 个数学推理基准上对比 9 个基线，仅保留 40% token 即超过全 token Vanilla OPD，平均准确率提升最高 5.25 个百分点，AIME25 Pass@16 从 13.33% 翻倍到 26.67%，并用 4B 教师超过 8B 教师的全 token 基线。
推荐理由：论文用概率空间加权解决 on-policy 蒸馏中低低 token 的干扰，给出了跨 7 个基准的对比数据，方法有可迁移性。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。
推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。
一项 arXiv 研究提出 Δ-MOPD，在多教师 on-policy 蒸馏中不再迁移教师的端点策略，而是迁移教师相对其基座模型的 logit 偏移，并将其重新锚定在学生的冻结初始状态上。三个教师组合时，Δ-MOPD 比 endpoint 组合高出 4.11 Math 和 1.95 五基准分数；phased 路由下将顺序差距从 10.50 降至 6.42 点。结果表明目标构建是 MOPD 中独立于教师选择的设计维度。
论文提出 Task-Progress Distillation（TPD），一种离线蒸馏方法，将演示动作与描述当前任务阶段的短标签配对来训练小型智能体。在 ALFWorld 上，1.7B 学生模型用 404 条演示达到 72.4% 平均未见任务成功率，推理训练学生为 48.3%；808 条演示时两种方式均达 76.9%。显式阶段标签在 200 条演示时将成功率从 48.0% 提升至 67.7%。
论文提出协作推理蒸馏框架 CRD，通过教师互相交叉反馈批评、细粒度步骤质量评估与连贯性步骤拼接，提升小模型推理能力，并以带预算约束的 Reasoning Quality Optimization 训练。其模型 CRD-4B 在 MATH-500 达 97.3%、AIME'25 达 70.3%，仅用 50K 训练样本，比同类模型数据集最多小 12 倍。
arXiv 论文 2610.09639 通过受控合成框架测量发现，reverse-KL 在线蒸馏（OPD）能在三个模型家族的四个模型上稳定迁移跨未见推理结构的组合性技能，但几乎不迁移事实知识。消融显示换用 forward KL 可恢复事实迁移，学生 rollout 则专门提升多步推理执行；在事实问答与竞赛数学实验中呈现同样的不对称。结论是 OPD 不扩充模型参数化知识，而是教会模型组织与组合已有知识。
推荐理由：论文用受控合成框架区分知识与技能两类能力，说明了 reverse-KL 在线蒸馏为何只迁移推理技能而不扩充事实记忆。
Tianle Wang 等在 arXiv 发布论文，提出 Step-Aligned Privileged Distillation（SAPD），一种免 rollout 的自蒸馏方法，将示范解法转化为步对齐的分布性监督。在数学推理基准上平均优于 SFT 和标签平滑，与 on-policy 强化学习和自蒸馏相当，同时大体保持域外编码性能，训练循环较 on-policy 基线提速约 2x。代码已开源。
独立研究项目 JevStyle-9B-Decision-Uncensored-v1 发布，基于 wangzhang/Qwen3.5-9B-abliterated 冻结底座，通过 LoRA（r=16）加决策头实现单次前向输出最多 24 个选项的校准概率分布，可部署增量约 145–165 MB。模型采用软标签 KL 蒸馏训练，公开 holdout 硬命中率 100%，敏感项安全类一致率 92.6%（后续 v5 软优化达 98.2%），权重以 Apache-2.0 发布，与 TypeSafe AI 或 Jev 无官方关联。
一项 arXiv 研究检验跨 tokenizer 在线蒸馏（OPD）中的序列与词表对齐问题。在三个异构师生模型对的数学推理与代码生成任务上，严格 1:1 对齐位置已覆盖绝大部分学生生成 token；将 reverse KL 限制在共享词表中学生选择的 top-16 子集，准确率与全共享词表 OPD 相当，优于所评测的跨 tokenizer 基线。对不匹配组补充 span log-probability 的 MSE 监督反而降低准确率，研究表明应从扩大对齐覆盖转向优先保障监督可靠性。
研究者提出多模态知识蒸馏（MKD）框架，用 Low-Rank Multimodal Fusion（LMF）融合预训练 WSI 图像编码器与临床文本编码器，由教师模型学习图像-文本融合表征，学生模型蒸馏后仅凭图像即可推理。在 PatchGastric 基准上，该方法平均准确率比 SOTA 至少高 3.35%，且不依赖 transformer 融合、多任务学习或大语言模型，源代码已开源。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版，用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调，称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6，KL 散度 0.0793；ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数，视觉输入经测试可用，视频部分未测试。建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化，默认上下文 256k，其他版本仍在测试中。
推荐理由：作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据，读者可以据此自行判断这个去对齐微调版的质量。
论文提出 on-policy power distillation（OPPD），将 power distribution 的推理增益蒸馏进模型单次生成。训练中由被训模型生成候选、冻结教师模型的幂分布加权，并用相同概率做最大似然更新。
推荐理由：论文给出 OPPD 与 GRPO 及多次采样 power sampling 的对照数据，可据此评估单次生成逼近采样增益的可行幅度。
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee，参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征，分别训练文本侧与解码器后拼接，并量化为 int8；int8 版本仅 8.5 MB，单 CPU 线程下 25 倍实时速度，UTMOS 得分 4.41（教师为 4.52）。
推荐理由：论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程，方法无需对齐学习，可在单 CPU 上复现部署。
Zaiquan Yang 等在 arXiv 发布论文（arXiv:2610.05373），提出 Un-OPD 框架，解决块扩散语言模型（BDLM）在线蒸馏中的两类优化偏差：师生块边界不匹配导致的上下文错位，以及高支持度信号被快速吸收引发的过度自信坍缩。
Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo，以 LoRA 形式实现 6 步生成替代 40 步，无需 CFG，端到端约快 5 倍，质量与基座接近。
推荐理由：原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板，读者可据此判断该 LoRA 是否适合自己的部署场景。
Lightricks 在 Hugging Face 开放 LTX-2.5 权重，这是一个可本地执行与微调的开放世界模型，可从文本、图像和视频输入生成同步的高保真视频与音频。
推荐理由：官方模型卡完整列出了各组件权重文件、量化变体与运行约束，读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。
arXiv 论文提出“深度即时间”的实证观察：多步扩散的去噪计算在单步生成中被重组到单次前向传播的网络深度里，可用模型自身输出头解码中间层恢复。研究发现该现象依赖输运任务，MeanFlow 单次评估中同时出现去噪与再加噪；MeanFlow SiT-L/2 模型可被压缩 16.6× 参数为单个时间条件块。
arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏（OPD）为何有时提升性能、有时坍缩为过长且重复的生成：教师隐式奖励学生行为，即使教师自身很少表现出这些行为。
推荐理由：论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩，并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。
一项研究在 ZebraMap 上将 1.5B 学生模型基于 8B 教师模型的链式推理轨迹进行微调，教师生成时可见真实诊断。经污染过滤的 StudentF 变体准确率显著超过教师（p < 0.001），未过滤学生则无显著优势（p = 0.129）。增益源于用 regex 过滤消除"GT hallucination"伪影，将污染降至近零，但整体效应仍小。
一项被 EMNLP 2026 录用的研究提出两段式简历-职位匹配方案：先由基于 LLM 的标注器根据招聘者反馈生成 8 个可解释匹配维度的标签，再将其蒸馏为带 LoRA 适配嵌入骨干的 feature bi-encoder，可在 CPU 上服务全部在线请求。