新闻、仓库与研究，按时间排列。
论文提出 dSpark，一种面向扩散大语言模型（dLLM）的调度蒸馏框架，通过构建优先揭示能让其他位置更易预测的 token 的 unmasking 调度，并以 KL 散度正则化蒸馏进模型，实现更快的并行采样。在 GSM8K 上，该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别取得 10.12× 和 5.12× 加速，同时保持更优的任务性能，代码已开源。
推荐理由：论文给出了让扩散语言模型更早揭示关键 token 的调度蒸馏思路，GSM8K 上的加速倍数可直接对照不同基线参考。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding，使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上，其宏平均达 0.5488，为受评 0.6B 模型中最高，并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏，均值从 0.4813 提升至 0.5488，且模型权重、代码与数据集均已开源。
论文提出 Frontier-OPD，一种面向多轮智能体的在线策略蒸馏方法，通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图，用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示，其平均自主性能高于所对比的蒸馏基线；在某个 ALFWorld 计时设置下，额外采集成本被更快达到目标成功率所抵消。
AOPD（Advantage-Based On-Policy Distillation）提出在 Online Policy Distillation 中区分教师偏好与对学生的实际帮助，依据教师动作在学生策略下的反事实优势进行加权，改善学生预期结果的动作被强化，否则降权。该方法无需额外 rollout 或奖励评估，仅用学生轨迹的终端奖励即可无偏估计目标。在数学、代码和 Medqa 任务上，AOPD 在外接教师与自蒸馏设置下均超过蒸馏与 RL 基线。
研究者推出 GoiBERT，包含 26M 和 49M 两个参数规模的越南语编码器，通过同分词器教师与大教师软标签两阶段知识蒸馏训练，可直接处理原始文本。在文本分类、方面级情感分析、自然语言推理和命名实体识别共八个 benchmark 上，GoiBERT-large 以不到最强紧凑基线一半的参数量取得非教师模型中的最高平均分，且吞吐量翻倍；GoiBERT-base 以四分之一大小保留基线 99% 的性能。压缩对情感和分类任务几乎无损，但在推理和实体识别上代价仍高。
研究者提出 ASTEROID，一种学生—教师监督学习框架，通过在学生在线策略采集的历史上下文上蒸馏特权专家动作，让部分可观测下的学生学会测试时探索。在 11 个环境（离散探索基准、机械臂操作、导航、Procgen 等）中，ASTEROID 在固定探索预算下回报约提高 2x，交互次数比 RL 基线少约 100x，并在视觉受限的真实机器人操作上比标准蒸馏成功率提升 +40%。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
一项 arXiv 研究提出 On-Policy Transition Distillation（OPTD），在传统在线蒸馏只匹配最终层分布的基础上，进一步对齐教师与学生模型在学生生成 rollout 上的层间对数概率增量。诊断实验显示，正确回答在中间层迁移上具有更低的平均 KL 散度。在三个 backbone、八个覆盖数学、代码和指令遵循的 benchmark 上，OPTD 在双域和三域蒸馏中均取得最佳或并列最佳成绩，三域设定下可恢复约 90% 的师生能力差距，而 OPD 约为 75%。
arXiv 论文提出 Rollout-to-Scorer Distillation（R2S），指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差，教师看不到回合结局导致拖延动作通过评分，称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器，再冻结为唯一评分器做标准 OPD，修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法，平均领先最优基线 12.8 个成功点。
推荐理由：论文指出教师评分短视导致智能体蒸馏失效的根因，给出的无奖励修复方法在十二组实验中均有提升。
一篇 arXiv 论文证明，在同源专家模型的同一盆地里，多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标，其最优解即模型合并。作者据此提出两阶段整合方法 RGBM：Phase 1 将合并限制在任务向量子空间，Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上，仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏，RGBM 在零额外联合训练步骤下进一步提升效果。
enhansome 发布《A Survey of On-Policy Distillation for Large Language Models》阅读指南及 OPDHub 文献库，共收录 362 条条目，其中 134 条附代码，2026-10-13 更新。内容按目标与更新规则、监督来源、能力迁移、多智能体学习等主题组织，涵盖 MiniLLM、DistiLLM、DistiLLM-2、GKD、OPSD、SDPO 等方法，并提供多条阅读路径。
Fabyo Sousa Ramos 的 GenAI/LLM 硕士毕业项目训练了一个面向 5 岁儿童的安全教育助手模型，以 Qwen2.5-3B 为学生模型、Qwen2.5-7B 为教师模型，结合 CoT 合成数据、Logits 知识蒸馏与 DPO 内化安全 guardrails 和儿童化人格。最终模型经 LoRA 权重合并并量化为 GGUF（Q4_K_M）格式，可在资源受限设备上本地离线运行。DPO 训练 1 个 epoch 内 Loss 快速收敛，模型在无 system prompt 测试中也能拒绝恶意或越狱指令。
arXiv 论文提出 ReDiST，一种面向证据丰富推理的学生条件化轨迹构建与知识蒸馏框架。该框架从学生自身尝试出发，结合证据修订正确草稿、借助验证答案修复失败草稿，并由冻结的学生匹配 reader 依据答案恢复率和验证答案概率筛选候选轨迹。在问答 benchmark 上，ReDiST 超越仅答案监督、原始轨迹及所评估的轨迹选择与改写基线，且源任务与跨基准迁移表现排名可能不一致。
arXiv 论文提出 SimOPD，通过响应相似度分布将教师模型内部知识迁移给学生，避免直接隐状态匹配带来的特征空间绑定。学生在自身表示空间内匹配相似度分布，无需跨模型投影。实验显示，SimOPD 在同架构和跨架构设置下较最强基线分别提升最多 2.6 和 3.1 个百分点。
Reddit r/LocalLLaMA 用户提出：前沿实验室不再公开 thinking traces 后，如何为特定任务构建蒸馏数据集。其设想是微调小型 Qwen/Gemma 模型从照片提取 3D 空间坐标：将图片和任务发给前沿模型 API 获取答案，再把问答对交给另一前沿模型生成思维链作为训练数据，并询问是否有更好方法。
arXiv 论文提出 MultiAgent-OPD，将 on-policy distillation 与强化学习结合，端到端联合训练共享参数的 Leader-Searcher-Answerer 多智能体团队。冻结的 Teacher 模型对 Searcher 生成的搜索和摘要 token 打分提供过程监督，Leader 从团队成败学习，Answerer 从候选答案正确性学习。在七个数据集上系统达到 38.68% macro avg@4，超过 Prompted Critic 4.06 个百分点、超过 C-MAS + RL 2.61 个百分点。
arXiv 论文提出 MoEvolve，一个面向 MoE 大语言模型的双向蒸馏框架，通过“先恢复再提升”策略，将激活扩展后的高-k 模型作为更强教师，再把增强后的能力蒸馏回原始低-k 配置并保留推理时的激活预算。该框架在多个 MoE 模型和基准上将初始模型最高提升 22.2 个领域平均分，比同预算 RLVR 基线最高高出 6.5 分，且最终低-k 模型常常超过其激活扩展教师。
SCOPED（Skill-Decoupled On-Policy Expert Distillation）是一种面向视觉语言模型的训练方法，先分别训练能力专属专家并通过奖励引导反思提取显式技能，再进行在线蒸馏，让统一模型在推理时无需显式技能也能内化程序性知识。在八个多模态 benchmark 上，SCOPED 持续优于骨干模型和混合能力 RL。分析还发现联合优化存在能力间干扰，技能增强有助于专家轨迹更一致、更关注任务相关视觉证据。
一篇 arXiv 论文提出 training-free on-policy 蒸馏：不用训练，仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中，合并后平均精度高于任一专家。当专家共享同一 base 模型时，蒸馏有精确的逐层解，等价于一个最小二乘问题，只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后，在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平；在 Olmo 3 7B 上，每个专家只需几 GPU 小时的前向计算，即可在七个数学和代码基准上保留各专家的大部分增益。
推荐理由：给出免训练合并多个专家模型的具体方法，层式最小二乘解只需几百条 rollout 的前向计算即可落地。
Waypoint-OPD 是一种门控在线策略蒸馏方法，利用同一 RL 训练中的中间 teacher checkpoint，比较早期与后期策略偏移的方向一致性，并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分，以 RL 训练的 Qwen3-4B 为 teacher，在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上，全部六个领域-学生设置中取得最高领域平均分；消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。
论文提出 CriticOPD，改进在线蒸馏（OPD）。OPD 假设教师模型能从学生写的任意前缀推出正确答案，但该可恢复性在错误 rollout 上失效——教师会跟随学生错误。CriticOPD 让教师对错误 rollout 给出批评，学生据此重写解答，教师评分时将批评作为特权信息，学生训练时则不含批评。在两个 Qwen3 学生模型和六个数学推理基准上，CriticOPD 均优于 OPD，竞赛题提升最大。
论文提出 RM-OPD，一种基于在线蒸馏（On-Policy Distillation）的两阶段生成式奖励模型训练框架，用于替代混合域偏好数据上的 Mix-RL 方法。该框架先通过单域 GRPO 微调训练各领域专家教师模型，再经路由在线蒸馏、域贡献重加权及可选的 criteria context distillation 将其整合进一个学生模型。在多个 RM benchmark 和两个基座模型上，RM-OPD 持续超越 vanilla Mix-RL 等基线，并出现"超越教师"的涌现效应。
Zhenhe Wu 在 arXiv 发布 PA1-OPD 方法，在语料前缀的蒸馏基础上加入学生模型采样一步后的教师反馈，扩展被监督的状态同时保留 next-token 预测与语料路径 KD。在两个持续预训练设置中，全覆盖方式在 C4、PG-19 和 Pile 的每个评测检查点上 held-out cross-entropy 均优于 KD；Stage2 中选取学生 surprisal 最高的 10% 根节点，使相对 next-token 训练的 Macro cross-entropy 增益比 KD 提高 48.85%。论文地址 https://arxiv.org/abs/2610.19601v1。
阿里团队推出开源翻译模型 Lumen，参加 WMT 2026 通用机器翻译任务，专注满足术语、风格和结构化输出等细粒度指令要求。模型基于 Qwen3-14B，采用四阶段流程：继续预训练与监督微调、将 M²PO 扩展为在线偏好优化、从更大教师模型做 on-policy 蒸馏，以及结构感知推理与修复。在 23 个翻译方向上，按 1–5 分 LLM-judge 评分取得 4.60 的总体均分，表现与领先闭源系统相当。
一篇 arXiv 论文（arXiv:2610.18613）重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现，发现其相对强化学习（RL）的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为，而非有效利用特权信息；自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3（1.7B-14B）和 OLMo-3-7B，结论是有效利用特权信息改进推理仍是开放问题，代码已开源。
推荐理由：论文在代码、数学等多任务上复测 SDPO 和 OPSD，指出其收益主要来自过拟合而非特权信息，并给出复现代码。
arXiv 一项研究提出"烙印"（imprinting）现象：用同一基础教师模型构建的害接受与害回避两种变体生成普通推理与知识问题的回答并蒸馏给学生模型，学生在获得任务能力的同时，下游决策会向源教师的安全务实倾向偏移。排除稀疏的分歧 token 可减弱烙印，而蒸馏后的偏好优化虽提高害回避程度，却无法消除源自源教师的差异。
GitHub 新开源仓库 audio-diffusion-synth 对比多种 diffusion 管线用于合成音频生成，作为在合成数据上进行知识蒸馏的 testbed。仓库包含 notebooks、results 等目录，代码已可在 GitHub 获取。
研究者提出 UltraBERT，一种在分类与检索任务上均达 SOTA 的双向编码器，GLUE 达 91.0、BEIR 达 47.7。模型为批内低、高掩码率分别设置独立 LM head，并将蒸馏目标限制在低掩码率。研究还发现编码器在数万亿 token 后性能饱和，低掩码率利于分类、高掩码率利于检索。
arXiv 论文提出 VC-OPD，一种接地感知的在线蒸馏方法，通过对比原始图像与破坏实例级证据的反事实图像下教师模型的分布差异，估计 token 级视觉依赖并重加权损失，优先蒸馏依赖图像证据的推理 token，并采用保质量归一化稳定更新。在多模态推理 benchmark 上的实验显示其提升了视觉推理性能与 token 级蒸馏效果。
论文提出 Reward-Aligned Distillation（RAD），一种双层框架，通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下，RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B（non-thinking）6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点；在 LiveCodeBench-v6 上，Qwen3-1.7B（non-thinking）与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1，超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
Joseph Egan 等人发布 arXiv 论文，提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法，利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向，可放大以解释特征或投影去除以抑制其表达；在 Cloud et al. (2026) 的 subliminal-learning 基准上，无需特征标签即恢复了传递的动物偏好特征，且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由：提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法，为蒸馏继承对齐风险提供了可操作的缓解思路。
研究者提出 BranchOPD（Branching On-Policy Distillation），基于学生不确定性与师生分歧选择信息量大的决策点，从共享前缀分支重采样并对主轨迹与分支施加 token 级教师监督。共享前缀复用使学生生成 token 开销在 ALFWorld 和 WebShop 上分别降低约 19% 和 31%（相对 7 条独立轨迹）；相比 Vanilla OPD，平均数学准确率（avg@16）提升 18.55 个百分点，ALFWorld ID/OOD 平均成功率提升 13.8 个百分点。
BoundaryEvo 提出一种两阶段数据-模型协同演化框架，用于从大模型蒸馏长链推理能力：先通过 Capability Priming 直接蒸馏少量教师长推理轨迹，再在 Capability-Boundary Co-Evolution 中持续选取学生未掌握但专家可解的题目并随学生能力演化更新训练数据。仅用 1,000 条训练样本，BoundaryEvo 在 11 个推理 benchmark 上超越静态和动态数据选择基线，将 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上从 26.8 提升至 46.0。代码与数据将开源。
CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。
论文提出 SGUID 方法，用于在技能蒸馏前筛选紧凑技能子集，发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上，仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏；第二轮循环为 Qwen3-8B 新选 3 个技能，将其成绩从 64.3% 提升到 66.3%，而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点，SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接：https://arxiv.org/abs/2610.12367v1
TAM（Task-Aware Memory Distillation）将冻结 teacher 的知识组织为有界、可检索的历史记忆，通过匹配相似度分布或回归残差原型来补充常规知识蒸馏，且不增加 student 推理成本。在视频预测、天气预报和交通流预测的评测中，四组配对实验平均后，TAM 在全部六个视频数据集上提升 SSIM、五个数据集上降低 MSE，KittiCaltech 上 MSE 平均降低 1.86%，WeatherBench（gSTA teacher）降低 1.93%，TaxiBJ 降低 1.01%。
研究者提出 ReCal（Recovery-Aware Calibration），一种即插即用的剪枝前校准调整方法，用于提升剪枝推理模型在线策略蒸馏（OPD）的恢复效果。ReCal 利用未剪枝 teacher 与剪枝 probe 之间的 forward KL，识别被剪枝破坏的 teacher 支持预测并重加权校准统计量。在多个模型和剪枝方法上，ReCal 在 OPD 后数学推理最高带来 16.7 个百分点的 AIME 提升，多数代码生成对比中也有改进。
Anhao Zhao 等提出 DIAL-OPD，一种在线策略蒸馏中的 token 选择方法，用教师与学生概率的对数均值加权奖励，保留得分最高的 token。在 4 组师生模型和 7 个数学推理基准上对比 9 个基线，仅保留 40% token 即超过全 token Vanilla OPD，平均准确率提升最高 5.25 个百分点，AIME25 Pass@16 从 13.33% 翻倍到 26.67%，并用 4B 教师超过 8B 教师的全 token 基线。
推荐理由：论文用概率空间加权解决 on-policy 蒸馏中低低 token 的干扰，给出了跨 7 个基准的对比数据，方法有可迁移性。
一项 arXiv 研究提出 Δ-MOPD，在多教师 on-policy 蒸馏中不再迁移教师的端点策略，而是迁移教师相对其基座模型的 logit 偏移，并将其重新锚定在学生的冻结初始状态上。三个教师组合时，Δ-MOPD 比 endpoint 组合高出 4.11 Math 和 1.95 五基准分数；phased 路由下将顺序差距从 10.50 降至 6.42 点。结果表明目标构建是 MOPD 中独立于教师选择的设计维度。
论文提出 Task-Progress Distillation（TPD），一种离线蒸馏方法，将演示动作与描述当前任务阶段的短标签配对来训练小型智能体。在 ALFWorld 上，1.7B 学生模型用 404 条演示达到 72.4% 平均未见任务成功率，推理训练学生为 48.3%；808 条演示时两种方式均达 76.9%。显式阶段标签在 200 条演示时将成功率从 48.0% 提升至 67.7%。