新闻、仓库与研究，按时间排列。
论文提出 dSpark，一种面向扩散大语言模型（dLLM）的调度蒸馏框架，通过构建优先揭示能让其他位置更易预测的 token 的 unmasking 调度，并以 KL 散度正则化蒸馏进模型，实现更快的并行采样。在 GSM8K 上，该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别取得 10.12× 和 5.12× 加速，同时保持更优的任务性能，代码已开源。
推荐理由：论文给出了让扩散语言模型更早揭示关键 token 的调度蒸馏思路，GSM8K 上的加速倍数可直接对照不同基线参考。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding，使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上，其宏平均达 0.5488，为受评 0.6B 模型中最高，并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏，均值从 0.4813 提升至 0.5488，且模型权重、代码与数据集均已开源。
论文提出 Frontier-OPD，一种面向多轮智能体的在线策略蒸馏方法，通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图，用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示，其平均自主性能高于所对比的蒸馏基线；在某个 ALFWorld 计时设置下，额外采集成本被更快达到目标成功率所抵消。
AOPD（Advantage-Based On-Policy Distillation）提出在 Online Policy Distillation 中区分教师偏好与对学生的实际帮助，依据教师动作在学生策略下的反事实优势进行加权，改善学生预期结果的动作被强化，否则降权。该方法无需额外 rollout 或奖励评估，仅用学生轨迹的终端奖励即可无偏估计目标。在数学、代码和 Medqa 任务上，AOPD 在外接教师与自蒸馏设置下均超过蒸馏与 RL 基线。
研究者推出 GoiBERT，包含 26M 和 49M 两个参数规模的越南语编码器，通过同分词器教师与大教师软标签两阶段知识蒸馏训练，可直接处理原始文本。在文本分类、方面级情感分析、自然语言推理和命名实体识别共八个 benchmark 上，GoiBERT-large 以不到最强紧凑基线一半的参数量取得非教师模型中的最高平均分，且吞吐量翻倍；GoiBERT-base 以四分之一大小保留基线 99% 的性能。压缩对情感和分类任务几乎无损，但在推理和实体识别上代价仍高。
研究者提出 ASTEROID，一种学生—教师监督学习框架，通过在学生在线策略采集的历史上下文上蒸馏特权专家动作，让部分可观测下的学生学会测试时探索。在 11 个环境（离散探索基准、机械臂操作、导航、Procgen 等）中，ASTEROID 在固定探索预算下回报约提高 2x，交互次数比 RL 基线少约 100x，并在视觉受限的真实机器人操作上比标准蒸馏成功率提升 +40%。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
一项 arXiv 研究提出 On-Policy Transition Distillation（OPTD），在传统在线蒸馏只匹配最终层分布的基础上，进一步对齐教师与学生模型在学生生成 rollout 上的层间对数概率增量。诊断实验显示，正确回答在中间层迁移上具有更低的平均 KL 散度。在三个 backbone、八个覆盖数学、代码和指令遵循的 benchmark 上，OPTD 在双域和三域蒸馏中均取得最佳或并列最佳成绩，三域设定下可恢复约 90% 的师生能力差距，而 OPD 约为 75%。
arXiv 论文提出 Rollout-to-Scorer Distillation（R2S），指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差，教师看不到回合结局导致拖延动作通过评分，称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器，再冻结为唯一评分器做标准 OPD，修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法，平均领先最优基线 12.8 个成功点。
推荐理由：论文指出教师评分短视导致智能体蒸馏失效的根因，给出的无奖励修复方法在十二组实验中均有提升。
一篇 arXiv 论文证明，在同源专家模型的同一盆地里，多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标，其最优解即模型合并。作者据此提出两阶段整合方法 RGBM：Phase 1 将合并限制在任务向量子空间，Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上，仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏，RGBM 在零额外联合训练步骤下进一步提升效果。
Bria 发布 Fibo 2.0 Edit Turbo 开源权重模型，是从 Fibo 2.0 Dev 蒸馏出的专用图像编辑模型，4 步推理且无需 classifier-free guidance 即可出图。据 Artificial Analysis Image Arena 2026 年 10 月 20 日排名，它在开放权重图像编辑模型中位列第一。模型为 8B 参数 flow-matching 架构，基于 FLUX.2 VAE 潜空间，用 Qwen3-VL-4B-Instruct 编码提示词，训练数据全部为授权数据；许可证为 CC BY-NC 4.0，商用需与 BRIA 另行协议。支持普通编辑、掩码编辑和最多 4 张参考图编辑，官方也预告了多轮编辑、背景去除、商品图 LoRA 等后续组件。
腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的长期记忆写入模型，可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段，先做 Memory On-Policy Distillation 再做归因记忆强化学习，可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49，超过 Claude Opus 5（54.62）和 DeepSeek V4.1 Flash（53.64）。权重、框架代码和技术报告均已开源。
推荐理由：原文给出了固定基准矩阵上与多个通用大模型的横向对比，可以评估这个小模型在记忆写入上的性价比。
arXiv 论文提出 ReDiST，一种面向证据丰富推理的学生条件化轨迹构建与知识蒸馏框架。该框架从学生自身尝试出发，结合证据修订正确草稿、借助验证答案修复失败草稿，并由冻结的学生匹配 reader 依据答案恢复率和验证答案概率筛选候选轨迹。在问答 benchmark 上，ReDiST 超越仅答案监督、原始轨迹及所评估的轨迹选择与改写基线，且源任务与跨基准迁移表现排名可能不一致。
arXiv 论文提出 SimOPD，通过响应相似度分布将教师模型内部知识迁移给学生，避免直接隐状态匹配带来的特征空间绑定。学生在自身表示空间内匹配相似度分布，无需跨模型投影。实验显示，SimOPD 在同架构和跨架构设置下较最强基线分别提升最多 2.6 和 3.1 个百分点。
OpenMOSS 团队将 MOSS-Image-SFT（50 步、CFG 3）蒸馏为 8 步无 CFG 的生成模型，采用 data-space DMD 方法，checkpoint 为 update 2600（EMA）float32 权重。模型提供 lora.safetensors（推荐强度 1）与 lora_latest.safetensors（推荐强度 0.7）可直接加载到 ComfyUI LoRA loader，transformer 必须以 fp32 运行，蒸馏 delta 小于 bf16 舍入步长，转 bf16 会丢失大部分蒸馏效果。当前为进行中的工作。
arXiv 论文提出 MultiAgent-OPD，将 on-policy distillation 与强化学习结合，端到端联合训练共享参数的 Leader-Searcher-Answerer 多智能体团队。冻结的 Teacher 模型对 Searcher 生成的搜索和摘要 token 打分提供过程监督，Leader 从团队成败学习，Answerer 从候选答案正确性学习。在七个数据集上系统达到 38.68% macro avg@4，超过 Prompted Critic 4.06 个百分点、超过 C-MAS + RL 2.61 个百分点。
arXiv 论文提出 MoEvolve，一个面向 MoE 大语言模型的双向蒸馏框架，通过“先恢复再提升”策略，将激活扩展后的高-k 模型作为更强教师，再把增强后的能力蒸馏回原始低-k 配置并保留推理时的激活预算。该框架在多个 MoE 模型和基准上将初始模型最高提升 22.2 个领域平均分，比同预算 RLVR 基线最高高出 6.5 分，且最终低-k 模型常常超过其激活扩展教师。
SCOPED（Skill-Decoupled On-Policy Expert Distillation）是一种面向视觉语言模型的训练方法，先分别训练能力专属专家并通过奖励引导反思提取显式技能，再进行在线蒸馏，让统一模型在推理时无需显式技能也能内化程序性知识。在八个多模态 benchmark 上，SCOPED 持续优于骨干模型和混合能力 RL。分析还发现联合优化存在能力间干扰，技能增强有助于专家轨迹更一致、更关注任务相关视觉证据。
一篇 arXiv 论文提出 training-free on-policy 蒸馏：不用训练，仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中，合并后平均精度高于任一专家。当专家共享同一 base 模型时，蒸馏有精确的逐层解，等价于一个最小二乘问题，只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后，在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平；在 Olmo 3 7B 上，每个专家只需几 GPU 小时的前向计算，即可在七个数学和代码基准上保留各专家的大部分增益。
推荐理由：给出免训练合并多个专家模型的具体方法，层式最小二乘解只需几百条 rollout 的前向计算即可落地。
Waypoint-OPD 是一种门控在线策略蒸馏方法，利用同一 RL 训练中的中间 teacher checkpoint，比较早期与后期策略偏移的方向一致性，并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分，以 RL 训练的 Qwen3-4B 为 teacher，在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上，全部六个领域-学生设置中取得最高领域平均分；消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。
Haiseni 在 Hugging Face 上推出 UncensoredLM-DeepSeek-R1-Distill-Qwen-14B 实验预览版，这是一款带推理能力的去审查模型，基于 DeepSeek-R1-Distill-Qwen-14B。模型采用固定的提示词模板（含 instruction、input、output 字段），作者称拒绝对齐边界清晰，并征集用户反馈以持续改进。
论文提出 CriticOPD，改进在线蒸馏（OPD）。OPD 假设教师模型能从学生写的任意前缀推出正确答案，但该可恢复性在错误 rollout 上失效——教师会跟随学生错误。CriticOPD 让教师对错误 rollout 给出批评，学生据此重写解答，教师评分时将批评作为特权信息，学生训练时则不含批评。在两个 Qwen3 学生模型和六个数学推理基准上，CriticOPD 均优于 OPD，竞赛题提升最大。
论文提出 RM-OPD，一种基于在线蒸馏（On-Policy Distillation）的两阶段生成式奖励模型训练框架，用于替代混合域偏好数据上的 Mix-RL 方法。该框架先通过单域 GRPO 微调训练各领域专家教师模型，再经路由在线蒸馏、域贡献重加权及可选的 criteria context distillation 将其整合进一个学生模型。在多个 RM benchmark 和两个基座模型上，RM-OPD 持续超越 vanilla Mix-RL 等基线，并出现"超越教师"的涌现效应。
Zhenhe Wu 在 arXiv 发布 PA1-OPD 方法，在语料前缀的蒸馏基础上加入学生模型采样一步后的教师反馈，扩展被监督的状态同时保留 next-token 预测与语料路径 KD。在两个持续预训练设置中，全覆盖方式在 C4、PG-19 和 Pile 的每个评测检查点上 held-out cross-entropy 均优于 KD；Stage2 中选取学生 surprisal 最高的 10% 根节点，使相对 next-token 训练的 Macro cross-entropy 增益比 KD 提高 48.85%。论文地址 https://arxiv.org/abs/2610.19601v1。
阿里团队推出开源翻译模型 Lumen，参加 WMT 2026 通用机器翻译任务，专注满足术语、风格和结构化输出等细粒度指令要求。模型基于 Qwen3-14B，采用四阶段流程：继续预训练与监督微调、将 M²PO 扩展为在线偏好优化、从更大教师模型做 on-policy 蒸馏，以及结构感知推理与修复。在 23 个翻译方向上，按 1–5 分 LLM-judge 评分取得 4.60 的总体均分，表现与领先闭源系统相当。
一篇 arXiv 论文（arXiv:2610.18613）重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现，发现其相对强化学习（RL）的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为，而非有效利用特权信息；自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3（1.7B-14B）和 OLMo-3-7B，结论是有效利用特权信息改进推理仍是开放问题，代码已开源。
推荐理由：论文在代码、数学等多任务上复测 SDPO 和 OPSD，指出其收益主要来自过拟合而非特权信息，并给出复现代码。
arXiv 一项研究提出"烙印"（imprinting）现象：用同一基础教师模型构建的害接受与害回避两种变体生成普通推理与知识问题的回答并蒸馏给学生模型，学生在获得任务能力的同时，下游决策会向源教师的安全务实倾向偏移。排除稀疏的分歧 token 可减弱烙印，而蒸馏后的偏好优化虽提高害回避程度，却无法消除源自源教师的差异。
Liquid AI 在 Hugging Face 发布 LFM2.5-24B-A2B，一个 24B 总参数、2.45B 激活参数的纯推理模型，主打设备端私有 Agent，上下文 131,072 tokens，支持 16 种语言。该模型在 LiveClaw 上得 48.09 分，超过参数量多约 50% 的 Qwen3.6-35B-A3B（38.19）；在 Apple M5 Max 上解码 184 tok/s，单张 NVIDIA B300 GPU 高并发下超 21K 输出 tok/s。官方同步提供 FP8、GGUF、ONNX、MLX-4bit 等多格式权重，并给出与 vLLM、SGLang、llama.cpp、Transformers 的部署指南及 Agent Harness 配置示例。
Hugging Face 上的 BOBBYBONKERSBFD/Sulphur-2-Prompt-Enhancer-Uncensored-GGUF 提供了多种部署方式：可配合 LTX-2 视频生成管线（需搭配 google/gemma-3-12b 文本编码器，支持文生视频与图生视频），也可用 llama.cpp、vLLM、Ollama 等工具以 IQ4_NL 量化版本运行，支持 OpenAI 兼容 API 的本地服务器。
研究者提出 UltraBERT，一种在分类与检索任务上均达 SOTA 的双向编码器，GLUE 达 91.0、BEIR 达 47.7。模型为批内低、高掩码率分别设置独立 LM head，并将蒸馏目标限制在低掩码率。研究还发现编码器在数万亿 token 后性能饱和，低掩码率利于分类、高掩码率利于检索。
arXiv 论文提出 VC-OPD，一种接地感知的在线蒸馏方法，通过对比原始图像与破坏实例级证据的反事实图像下教师模型的分布差异，估计 token 级视觉依赖并重加权损失，优先蒸馏依赖图像证据的推理 token，并采用保质量归一化稳定更新。在多模态推理 benchmark 上的实验显示其提升了视觉推理性能与 token 级蒸馏效果。
论文提出 Reward-Aligned Distillation（RAD），一种双层框架，通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下，RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B（non-thinking）6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点；在 LiveCodeBench-v6 上，Qwen3-1.7B（non-thinking）与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1，超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本，该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏（QAD）checkpoint，训练用于恢复 Q4_0 量化损失的精度；各 GGUF 内置 general.sampling.* 元数据，llama.cpp 默认应用推荐采样参数（--temp 0.1 --top-k 50 --repeat-penalty 1.05）。
推荐理由：官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失，并给出 llama.cpp 的推荐采样参数，便于本地部署复现。
Joseph Egan 等人发布 arXiv 论文，提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法，利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向，可放大以解释特征或投影去除以抑制其表达；在 Cloud et al. (2026) 的 subliminal-learning 基准上，无需特征标签即恢复了传递的动物偏好特征，且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由：提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法，为蒸馏继承对齐风险提供了可操作的缓解思路。
研究者提出 BranchOPD（Branching On-Policy Distillation），基于学生不确定性与师生分歧选择信息量大的决策点，从共享前缀分支重采样并对主轨迹与分支施加 token 级教师监督。共享前缀复用使学生生成 token 开销在 ALFWorld 和 WebShop 上分别降低约 19% 和 31%（相对 7 条独立轨迹）；相比 Vanilla OPD，平均数学准确率（avg@16）提升 18.55 个百分点，ALFWorld ID/OOD 平均成功率提升 13.8 个百分点。
BoundaryEvo 提出一种两阶段数据-模型协同演化框架，用于从大模型蒸馏长链推理能力：先通过 Capability Priming 直接蒸馏少量教师长推理轨迹，再在 Capability-Boundary Co-Evolution 中持续选取学生未掌握但专家可解的题目并随学生能力演化更新训练数据。仅用 1,000 条训练样本，BoundaryEvo 在 11 个推理 benchmark 上超越静态和动态数据选择基线，将 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上从 26.8 提升至 46.0。代码与数据将开源。
CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。
论文提出 SGUID 方法，用于在技能蒸馏前筛选紧凑技能子集，发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上，仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏；第二轮循环为 Qwen3-8B 新选 3 个技能，将其成绩从 64.3% 提升到 66.3%，而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点，SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接：https://arxiv.org/abs/2610.12367v1
TAM（Task-Aware Memory Distillation）将冻结 teacher 的知识组织为有界、可检索的历史记忆，通过匹配相似度分布或回归残差原型来补充常规知识蒸馏，且不增加 student 推理成本。在视频预测、天气预报和交通流预测的评测中，四组配对实验平均后，TAM 在全部六个视频数据集上提升 SSIM、五个数据集上降低 MSE，KittiCaltech 上 MSE 平均降低 1.86%，WeatherBench（gSTA teacher）降低 1.93%，TaxiBJ 降低 1.01%。
研究者提出 ReCal（Recovery-Aware Calibration），一种即插即用的剪枝前校准调整方法，用于提升剪枝推理模型在线策略蒸馏（OPD）的恢复效果。ReCal 利用未剪枝 teacher 与剪枝 probe 之间的 forward KL，识别被剪枝破坏的 teacher 支持预测并重加权校准统计量。在多个模型和剪枝方法上，ReCal 在 OPD 后数学推理最高带来 16.7 个百分点的 AIME 提升，多数代码生成对比中也有改进。