新闻、仓库与研究，按时间排列。
understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。
推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。
Nanbeige4.3-33B 现已上线 Hugging Face，官方称其在多项 benchmark 上强于 Qwen3.8-27B。该模型还将作为基础，用于即将开展的小模型知识蒸馏管线，例如蒸馏出 Nanbeige4.3-3B，未来可能扩展到其他尺寸。
/u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型，支持内联标签、语音方向控制和音色克隆，训练成本不到 $200。Turbo 的 RTF 为 0.14，对比 5B Fish S2 Pro 的 0.195，同时保持相同说话人相似度（ECAPA 0.699）。作者还发布了 Lure-TTS 推理引擎，基于 faster-qwen3-tts（CUDA）、mlx-audio（Mac）和 audio.cpp（CPU），在 4090 上首音频输出 0.17s（参考代码为 10.6s），整体快约 5 倍（RTF 0.53 vs 2.54），支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。
推荐理由：作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码，可复现的低成本 TTS 微调路线有参考价值。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding，使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上，其宏平均达 0.5488，为受评 0.6B 模型中最高，并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏，均值从 0.4813 提升至 0.5488，且模型权重、代码与数据集均已开源。
论文提出 Frontier-OPD，一种面向多轮智能体的在线策略蒸馏方法，通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图，用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示，其平均自主性能高于所对比的蒸馏基线；在某个 ALFWorld 计时设置下，额外采集成本被更快达到目标成功率所抵消。
AOPD（Advantage-Based On-Policy Distillation）提出在 Online Policy Distillation 中区分教师偏好与对学生的实际帮助，依据教师动作在学生策略下的反事实优势进行加权，改善学生预期结果的动作被强化，否则降权。该方法无需额外 rollout 或奖励评估，仅用学生轨迹的终端奖励即可无偏估计目标。在数学、代码和 Medqa 任务上，AOPD 在外接教师与自蒸馏设置下均超过蒸馏与 RL 基线。
一名普通 web 开发者借助大语言模型迭代优化，在不知其具体原理的情况下将 Kokoro TTS 提速 50-100 倍。训练在一块 4070ti super 上耗时约一天完成，灵感来自 Sahil 展示的 Kokoro 知识蒸馏方法。
研究者推出 GoiBERT，包含 26M 和 49M 两个参数规模的越南语编码器，通过同分词器教师与大教师软标签两阶段知识蒸馏训练，可直接处理原始文本。在文本分类、方面级情感分析、自然语言推理和命名实体识别共八个 benchmark 上，GoiBERT-large 以不到最强紧凑基线一半的参数量取得非教师模型中的最高平均分，且吞吐量翻倍；GoiBERT-base 以四分之一大小保留基线 99% 的性能。压缩对情感和分类任务几乎无损，但在推理和实体识别上代价仍高。
研究者提出 ASTEROID，一种学生—教师监督学习框架，通过在学生在线策略采集的历史上下文上蒸馏特权专家动作，让部分可观测下的学生学会测试时探索。在 11 个环境（离散探索基准、机械臂操作、导航、Procgen 等）中，ASTEROID 在固定探索预算下回报约提高 2x，交互次数比 RL 基线少约 100x，并在视觉受限的真实机器人操作上比标准蒸馏成功率提升 +40%。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
Tyler Greaux 发布的 Tyler-LLM 是一系列 1.7B–32B 的本地小型模型，经前沿模型知识蒸馏而来，提供 GGUF 与 NVFP4 格式并内置 agent，无需云端、无遥测，采用 Apache-2.0 许可开源。
GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型：向父模型生成问题并收集带推理的回答，用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调，再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本，并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段，1.0 前小版本可能有破坏性变更。
推荐理由：从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完，还用胜负率和成本对比衡量孩子与父模型的差距。
一项 arXiv 研究提出 On-Policy Transition Distillation（OPTD），在传统在线蒸馏只匹配最终层分布的基础上，进一步对齐教师与学生模型在学生生成 rollout 上的层间对数概率增量。诊断实验显示，正确回答在中间层迁移上具有更低的平均 KL 散度。在三个 backbone、八个覆盖数学、代码和指令遵循的 benchmark 上，OPTD 在双域和三域蒸馏中均取得最佳或并列最佳成绩，三域设定下可恢复约 90% 的师生能力差距，而 OPD 约为 75%。
arXiv 论文提出 Rollout-to-Scorer Distillation（R2S），指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差，教师看不到回合结局导致拖延动作通过评分，称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器，再冻结为唯一评分器做标准 OPD，修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法，平均领先最优基线 12.8 个成功点。
推荐理由：论文指出教师评分短视导致智能体蒸馏失效的根因，给出的无奖励修复方法在十二组实验中均有提升。
一篇 arXiv 论文证明，在同源专家模型的同一盆地里，多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标，其最优解即模型合并。作者据此提出两阶段整合方法 RGBM：Phase 1 将合并限制在任务向量子空间，Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上，仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏，RGBM 在零额外联合训练步骤下进一步提升效果。
enhansome 发布《A Survey of On-Policy Distillation for Large Language Models》阅读指南及 OPDHub 文献库，共收录 362 条条目，其中 134 条附代码，2026-10-13 更新。内容按目标与更新规则、监督来源、能力迁移、多智能体学习等主题组织，涵盖 MiniLLM、DistiLLM、DistiLLM-2、GKD、OPSD、SDPO 等方法，并提供多条阅读路径。
Reddit r/LocalLLaMA 用户提议建立公共仓库，供贡献者手动上传与模型对话的会话数据，并开发浏览器插件等工具自动收集。由于前沿模型禁止蒸馏、开源 LLM 训练预算有限，作者认为共享会话数据有助于提升开源模型能力，同时提出需兼顾数据匿名化、贡献者积分激励与付费下载分成机制。
Fabyo Sousa Ramos 的 GenAI/LLM 硕士毕业项目训练了一个面向 5 岁儿童的安全教育助手模型，以 Qwen2.5-3B 为学生模型、Qwen2.5-7B 为教师模型，结合 CoT 合成数据、Logits 知识蒸馏与 DPO 内化安全 guardrails 和儿童化人格。最终模型经 LoRA 权重合并并量化为 GGUF（Q4_K_M）格式，可在资源受限设备上本地离线运行。DPO 训练 1 个 epoch 内 Loss 快速收敛，模型在无 system prompt 测试中也能拒绝恶意或越狱指令。
腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的长期记忆写入模型，可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段，先做 Memory On-Policy Distillation 再做归因记忆强化学习，可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49，超过 Claude Opus 5（54.62）和 DeepSeek V4.1 Flash（53.64）。权重、框架代码和技术报告均已开源。
推荐理由：原文给出了固定基准矩阵上与多个通用大模型的横向对比，可以评估这个小模型在记忆写入上的性价比。
arXiv 论文提出 ReDiST，一种面向证据丰富推理的学生条件化轨迹构建与知识蒸馏框架。该框架从学生自身尝试出发，结合证据修订正确草稿、借助验证答案修复失败草稿，并由冻结的学生匹配 reader 依据答案恢复率和验证答案概率筛选候选轨迹。在问答 benchmark 上，ReDiST 超越仅答案监督、原始轨迹及所评估的轨迹选择与改写基线，且源任务与跨基准迁移表现排名可能不一致。
arXiv 论文提出 SimOPD，通过响应相似度分布将教师模型内部知识迁移给学生，避免直接隐状态匹配带来的特征空间绑定。学生在自身表示空间内匹配相似度分布，无需跨模型投影。实验显示，SimOPD 在同架构和跨架构设置下较最强基线分别提升最多 2.6 和 3.1 个百分点。
OpenMOSS 团队将 MOSS-Image-SFT（50 步、CFG 3）蒸馏为 8 步无 CFG 的生成模型，采用 data-space DMD 方法，checkpoint 为 update 2600（EMA）float32 权重。模型提供 lora.safetensors（推荐强度 1）与 lora_latest.safetensors（推荐强度 0.7）可直接加载到 ComfyUI LoRA loader，transformer 必须以 fp32 运行，蒸馏 delta 小于 bf16 舍入步长，转 bf16 会丢失大部分蒸馏效果。当前为进行中的工作。
Reddit r/LocalLLaMA 用户提出：前沿实验室不再公开 thinking traces 后，如何为特定任务构建蒸馏数据集。其设想是微调小型 Qwen/Gemma 模型从照片提取 3D 空间坐标：将图片和任务发给前沿模型 API 获取答案，再把问答对交给另一前沿模型生成思维链作为训练数据，并询问是否有更好方法。
arXiv 论文提出 MultiAgent-OPD，将 on-policy distillation 与强化学习结合，端到端联合训练共享参数的 Leader-Searcher-Answerer 多智能体团队。冻结的 Teacher 模型对 Searcher 生成的搜索和摘要 token 打分提供过程监督，Leader 从团队成败学习，Answerer 从候选答案正确性学习。在七个数据集上系统达到 38.68% macro avg@4，超过 Prompted Critic 4.06 个百分点、超过 C-MAS + RL 2.61 个百分点。
arXiv 论文提出 MoEvolve，一个面向 MoE 大语言模型的双向蒸馏框架，通过“先恢复再提升”策略，将激活扩展后的高-k 模型作为更强教师，再把增强后的能力蒸馏回原始低-k 配置并保留推理时的激活预算。该框架在多个 MoE 模型和基准上将初始模型最高提升 22.2 个领域平均分，比同预算 RLVR 基线最高高出 6.5 分，且最终低-k 模型常常超过其激活扩展教师。
SCOPED（Skill-Decoupled On-Policy Expert Distillation）是一种面向视觉语言模型的训练方法，先分别训练能力专属专家并通过奖励引导反思提取显式技能，再进行在线蒸馏，让统一模型在推理时无需显式技能也能内化程序性知识。在八个多模态 benchmark 上，SCOPED 持续优于骨干模型和混合能力 RL。分析还发现联合优化存在能力间干扰，技能增强有助于专家轨迹更一致、更关注任务相关视觉证据。
一篇 arXiv 论文提出 training-free on-policy 蒸馏：不用训练，仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中，合并后平均精度高于任一专家。当专家共享同一 base 模型时，蒸馏有精确的逐层解，等价于一个最小二乘问题，只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后，在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平；在 Olmo 3 7B 上，每个专家只需几 GPU 小时的前向计算，即可在七个数学和代码基准上保留各专家的大部分增益。
推荐理由：给出免训练合并多个专家模型的具体方法，层式最小二乘解只需几百条 rollout 的前向计算即可落地。
Waypoint-OPD 是一种门控在线策略蒸馏方法，利用同一 RL 训练中的中间 teacher checkpoint，比较早期与后期策略偏移的方向一致性，并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分，以 RL 训练的 Qwen3-4B 为 teacher，在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上，全部六个领域-学生设置中取得最高领域平均分；消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。
Texas A&M 与 ByteDance 团队发布 DMAD（Distribution Matching as Adversarial Distillation）仓库及论文（arXiv:2610.02188），将分布匹配蒸馏重构为分类问题，用共享骨干上的两个判别头直接学习 log-density ratio，免去 DMD 所需的辅助扩散模型。基于 MiniMax-H3（33B，文生音视频）训练的 rank-128 LoRA 可将 50 步 teacher 压缩为 4 步生成 1344x768、124 帧、32 kHz 立体声视频；4 步 student 在人类偏好上对 DMD2 达 79.1%、对 rCM 达 84.6%（不含平局）。
推荐理由：作者把分布匹配蒸馏改写成判别式对抗训练，省掉辅助扩散模型，并给出从 8 GB 消费级 GPU 到 H200 的显存与速度实测数据。
QUASAR 团队发布多款模型的 4-bit QAT 量化权重，包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B，提供 NVFP4（vLLM）和 Q4_0 GGUF（llama.cpp / Ollama / LM Studio）格式，代码与项目页已公开。方法为量化感知蒸馏，以原 BF16 模型为教师在其自身回复上修复量化损失；在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。
推荐理由：原文给出与官方 4-bit 版本的 KL 距离和基准对比数据，读者可以据此判断这套 QAT 权重的实际损失有多大。
Haiseni 在 Hugging Face 上推出 UncensoredLM-DeepSeek-R1-Distill-Qwen-14B 实验预览版，这是一款带推理能力的去审查模型，基于 DeepSeek-R1-Distill-Qwen-14B。模型采用固定的提示词模板（含 instruction、input、output 字段），作者称拒绝对齐边界清晰，并征集用户反馈以持续改进。
论文提出 CriticOPD，改进在线蒸馏（OPD）。OPD 假设教师模型能从学生写的任意前缀推出正确答案，但该可恢复性在错误 rollout 上失效——教师会跟随学生错误。CriticOPD 让教师对错误 rollout 给出批评，学生据此重写解答，教师评分时将批评作为特权信息，学生训练时则不含批评。在两个 Qwen3 学生模型和六个数学推理基准上，CriticOPD 均优于 OPD，竞赛题提升最大。
论文提出 RM-OPD，一种基于在线蒸馏（On-Policy Distillation）的两阶段生成式奖励模型训练框架，用于替代混合域偏好数据上的 Mix-RL 方法。该框架先通过单域 GRPO 微调训练各领域专家教师模型，再经路由在线蒸馏、域贡献重加权及可选的 criteria context distillation 将其整合进一个学生模型。在多个 RM benchmark 和两个基座模型上，RM-OPD 持续超越 vanilla Mix-RL 等基线，并出现"超越教师"的涌现效应。
Zhenhe Wu 在 arXiv 发布 PA1-OPD 方法，在语料前缀的蒸馏基础上加入学生模型采样一步后的教师反馈，扩展被监督的状态同时保留 next-token 预测与语料路径 KD。在两个持续预训练设置中，全覆盖方式在 C4、PG-19 和 Pile 的每个评测检查点上 held-out cross-entropy 均优于 KD；Stage2 中选取学生 surprisal 最高的 10% 根节点，使相对 next-token 训练的 Macro cross-entropy 增益比 KD 提高 48.85%。论文地址 https://arxiv.org/abs/2610.19601v1。
阿里团队推出开源翻译模型 Lumen，参加 WMT 2026 通用机器翻译任务，专注满足术语、风格和结构化输出等细粒度指令要求。模型基于 Qwen3-14B，采用四阶段流程：继续预训练与监督微调、将 M²PO 扩展为在线偏好优化、从更大教师模型做 on-policy 蒸馏，以及结构感知推理与修复。在 23 个翻译方向上，按 1–5 分 LLM-judge 评分取得 4.60 的总体均分，表现与领先闭源系统相当。
微软发布 UserRepGen-4B，一个基于 Qwen3.5-4B 微调的模型，可从多轮用户-助手对话中生成包含任务描述与行为描述的结构化自然语言用户表示，用于条件化独立的 LLM 用户模拟器。与 UserLM-8b 和 UserLM-2.0 生成用户话语不同，它只生成表示，不执行任务也不充当模拟器。该模型通过 hindsight distillation 的在线监督微调训练，推理时无需模拟 rollout 即可直接生成表示。
GitHub 上的 Distill-R1 项目将强化学习与在线师生蒸馏相结合，使用专门的教师模型来改进视觉语言模型训练。仓库目前处于早期阶段，尚无 star、fork 或 release。
一篇 arXiv 论文（arXiv:2610.18613）重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现，发现其相对强化学习（RL）的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为，而非有效利用特权信息；自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3（1.7B-14B）和 OLMo-3-7B，结论是有效利用特权信息改进推理仍是开放问题，代码已开源。
推荐理由：论文在代码、数学等多任务上复测 SDPO 和 OPSD，指出其收益主要来自过拟合而非特权信息，并给出复现代码。
arXiv 一项研究提出"烙印"（imprinting）现象：用同一基础教师模型构建的害接受与害回避两种变体生成普通推理与知识问题的回答并蒸馏给学生模型，学生在获得任务能力的同时，下游决策会向源教师的安全务实倾向偏移。排除稀疏的分歧 token 可减弱烙印，而蒸馏后的偏好优化虽提高害回避程度，却无法消除源自源教师的差异。
Liquid AI 在 Hugging Face 发布 LFM2.5-24B-A2B，一个 24B 总参数、2.45B 激活参数的纯推理模型，主打设备端私有 Agent，上下文 131,072 tokens，支持 16 种语言。该模型在 LiveClaw 上得 48.09 分，超过参数量多约 50% 的 Qwen3.6-35B-A3B（38.19）；在 Apple M5 Max 上解码 184 tok/s，单张 NVIDIA B300 GPU 高并发下超 21K 输出 tok/s。官方同步提供 FP8、GGUF、ONNX、MLX-4bit 等多格式权重，并给出与 vLLM、SGLang、llama.cpp、Transformers 的部署指南及 Agent Harness 配置示例。