新闻、仓库与研究，按时间排列。
用户 Bayliner1980 继续稠密模型转 MoE 的转换工作，发布 Qwen2.5-1.5B-MoE-A0.9B，并放出 0.5B 与 1.5B 两款 GGUF 版本。Q4_K_M 下 GPU 生成速度提升 32%、CPU 提升 41%，是首次在 GPU 上也明显快于稠密模型的转换；代价是 WikiText-2 困惑度升高约 41%，ARC 下降最多，GGUF 体积也更大（1.1 GB vs 0.9 GB）。作者称此为概念验证，该方法在 MLP 占比更大的大模型上应更划算。
Anthropic 发布博客，介绍针对 Claude 蒸馏攻击的新防御方法。早期证据显示，这些方法使蒸馏者获取的数据减少约 90% 到 99%，reasoning token 提取量下降 10 到 100 倍。
Hugging Face 上的 BOBBYBONKERSBFD/Sulphur-2-Prompt-Enhancer-Uncensored-GGUF 提供了多种部署方式：可配合 LTX-2 视频生成管线（需搭配 google/gemma-3-12b 文本编码器，支持文生视频与图生视频），也可用 llama.cpp、vLLM、Ollama 等工具以 IQ4_NL 量化版本运行，支持 OpenAI 兼容 API 的本地服务器。
ModelTC 的 LightX2V 是一个轻量图像/视频生成推理框架，支持 T2V、I2V、T2I、I2I 等任务，最新集成了 MiniMax-H3 全模态音视频生成并发布 4-step 768p 蒸馏 LoRA。官方基准显示在 H100 上 8 卡推理达 0.75s/it，约为 Diffusers 的 1.9 倍，并支持 8GB VRAM + 16GB RAM 运行 14B 模型生成 480P/720P 视频，提供 NVFP4/FP8 量化、三级 offloading 与多种国产芯片部署支持。
GitHub 新开源仓库 audio-diffusion-synth 对比多种 diffusion 管线用于合成音频生成，作为在合成数据上进行知识蒸馏的 testbed。仓库包含 notebooks、results 等目录，代码已可在 GitHub 获取。
研究者提出 UltraBERT，一种在分类与检索任务上均达 SOTA 的双向编码器，GLUE 达 91.0、BEIR 达 47.7。模型为批内低、高掩码率分别设置独立 LM head，并将蒸馏目标限制在低掩码率。研究还发现编码器在数万亿 token 后性能饱和，低掩码率利于分类、高掩码率利于检索。
arXiv 论文提出 VC-OPD，一种接地感知的在线蒸馏方法，通过对比原始图像与破坏实例级证据的反事实图像下教师模型的分布差异，估计 token 级视觉依赖并重加权损失，优先蒸馏依赖图像证据的推理 token，并采用保质量归一化稳定更新。在多模态推理 benchmark 上的实验显示其提升了视觉推理性能与 token 级蒸馏效果。
PostTrainLLM 发布 MIT 协议的 Mac-first LLM 训练工厂、运行时与浏览器 playground，完全本地运行、零云端。项目含 76 个实验的最终处置、18 份保留配方契约、九个学习阶段产出十三件工件，并给出实测结果：单 Mac 上用约 99 条 frontier rollout 蒸馏的 4B 模型在多轮 agentic 工具调用硬门槛上得 100%，与 DeepSeek-V4-pro 持平，高于 Gemma-4-12b-qat 的 83% 和原版 4B 的 75%。作者同时披露了局限，如 v11 到 v12 迁移中域外广度从 60% 回退到 42%，sealed V1 评测 57.1% 的意图路由器被标记为 production reject。
推荐理由：作者整理了完整的实验台账、方法文档与 Mac 单机实测数据，读者可以按配方复现这条本地训练与蒸馏路线。
论文提出 Reward-Aligned Distillation（RAD），一种双层框架，通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下，RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B（non-thinking）6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点；在 LiveCodeBench-v6 上，Qwen3-1.7B（non-thinking）与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1，超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
API Evangelist 在 GitHub 发布了 OpenPipe 的第三方公开 API 档案，包含 Kin Score 和 Agent Readiness 两个独立评分。OpenPipe 是一个微调与推理平台，可将昂贵的前沿 LLM 工作负载蒸馏为更小、更便宜的专业模型，支持捕获 OpenAI 和 Anthropic 的生产 trace、judge 评估、结果缓存，并通过 OpenAI 兼容 API 提供服务，同时支持代理外部模型。档案信息全部来自公开渠道，仓库不含任何软件。
LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本，该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏（QAD）checkpoint，训练用于恢复 Q4_0 量化损失的精度；各 GGUF 内置 general.sampling.* 元数据，llama.cpp 默认应用推荐采样参数（--temp 0.1 --top-k 50 --repeat-penalty 1.05）。
推荐理由：官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失，并给出 llama.cpp 的推荐采样参数，便于本地部署复现。
千问（Qwen）发布图像模型 Qwen-Image-2.1-Turbo，权重已开放。该模型基于 Qwen-Image-2.1 的 7B 视觉生成架构，仅需 8 步去噪即可生成 2K 图像，并支持通过自然语言编辑进行持续创作。用户可在 Hugging Face 上用 Diffusers 加载 QwenImage21Pipeline，直接使用推荐的 8 步采样方案。
Joseph Egan 等人发布 arXiv 论文，提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法，利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向，可放大以解释特征或投影去除以抑制其表达；在 Cloud et al. (2026) 的 subliminal-learning 基准上，无需特征标签即恢复了传递的动物偏好特征，且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由：提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法，为蒸馏继承对齐风险提供了可操作的缓解思路。
研究者提出 BranchOPD（Branching On-Policy Distillation），基于学生不确定性与师生分歧选择信息量大的决策点，从共享前缀分支重采样并对主轨迹与分支施加 token 级教师监督。共享前缀复用使学生生成 token 开销在 ALFWorld 和 WebShop 上分别降低约 19% 和 31%（相对 7 条独立轨迹）；相比 Vanilla OPD，平均数学准确率（avg@16）提升 18.55 个百分点，ALFWorld ID/OOD 平均成功率提升 13.8 个百分点。
BoundaryEvo 提出一种两阶段数据-模型协同演化框架，用于从大模型蒸馏长链推理能力：先通过 Capability Priming 直接蒸馏少量教师长推理轨迹，再在 Capability-Boundary Co-Evolution 中持续选取学生未掌握但专家可解的题目并随学生能力演化更新训练数据。仅用 1,000 条训练样本，BoundaryEvo 在 11 个推理 benchmark 上超越静态和动态数据选择基线，将 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上从 26.8 提升至 46.0。代码与数据将开源。
veen-systems 在 GitHub 开源 LLM Distillery 框架，用 Gemini Flash 作 oracle 生成标注数据，蒸馏出本地运行的 Qwen2.5-1.5B/7B 领域分类器，成本降低 100 倍、推理快 50 倍。已部署 sustainability_technology v1 和 uplifting v5 两个过滤器（Qwen2.5-1.5B + LoRA，18.5M 可训练参数，MAE 分别为 0.690 和 0.681），涵盖数据准备、验证、训练与预过滤/模型/后过滤三级推理流水线；按每日 4000 篇文章估算，单过滤器每年可节省约 1450 美元，项目采用 EUPL v1.2 许可证。
CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。
论文提出 SGUID 方法，用于在技能蒸馏前筛选紧凑技能子集，发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上，仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏；第二轮循环为 Qwen3-8B 新选 3 个技能，将其成绩从 64.3% 提升到 66.3%，而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点，SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接：https://arxiv.org/abs/2610.12367v1
TAM（Task-Aware Memory Distillation）将冻结 teacher 的知识组织为有界、可检索的历史记忆，通过匹配相似度分布或回归残差原型来补充常规知识蒸馏，且不增加 student 推理成本。在视频预测、天气预报和交通流预测的评测中，四组配对实验平均后，TAM 在全部六个视频数据集上提升 SSIM、五个数据集上降低 MSE，KittiCaltech 上 MSE 平均降低 1.86%，WeatherBench（gSTA teacher）降低 1.93%，TaxiBJ 降低 1.01%。
研究者提出 ReCal（Recovery-Aware Calibration），一种即插即用的剪枝前校准调整方法，用于提升剪枝推理模型在线策略蒸馏（OPD）的恢复效果。ReCal 利用未剪枝 teacher 与剪枝 probe 之间的 forward KL，识别被剪枝破坏的 teacher 支持预测并重加权校准统计量。在多个模型和剪枝方法上，ReCal 在 OPD 后数学推理最高带来 16.7 个百分点的 AIME 提升，多数代码生成对比中也有改进。
Anhao Zhao 等提出 DIAL-OPD，一种在线策略蒸馏中的 token 选择方法，用教师与学生概率的对数均值加权奖励，保留得分最高的 token。在 4 组师生模型和 7 个数学推理基准上对比 9 个基线，仅保留 40% token 即超过全 token Vanilla OPD，平均准确率提升最高 5.25 个百分点，AIME25 Pass@16 从 13.33% 翻倍到 26.67%，并用 4B 教师超过 8B 教师的全 token 基线。
推荐理由：论文用概率空间加权解决 on-policy 蒸馏中低低 token 的干扰，给出了跨 7 个基准的对比数据，方法有可迁移性。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。
推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。
一项 arXiv 研究提出 Δ-MOPD，在多教师 on-policy 蒸馏中不再迁移教师的端点策略，而是迁移教师相对其基座模型的 logit 偏移，并将其重新锚定在学生的冻结初始状态上。三个教师组合时，Δ-MOPD 比 endpoint 组合高出 4.11 Math 和 1.95 五基准分数；phased 路由下将顺序差距从 10.50 降至 6.42 点。结果表明目标构建是 MOPD 中独立于教师选择的设计维度。
论文提出 Task-Progress Distillation（TPD），一种离线蒸馏方法，将演示动作与描述当前任务阶段的短标签配对来训练小型智能体。在 ALFWorld 上，1.7B 学生模型用 404 条演示达到 72.4% 平均未见任务成功率，推理训练学生为 48.3%；808 条演示时两种方式均达 76.9%。显式阶段标签在 200 条演示时将成功率从 48.0% 提升至 67.7%。
论文提出协作推理蒸馏框架 CRD，通过教师互相交叉反馈批评、细粒度步骤质量评估与连贯性步骤拼接，提升小模型推理能力，并以带预算约束的 Reasoning Quality Optimization 训练。其模型 CRD-4B 在 MATH-500 达 97.3%、AIME'25 达 70.3%，仅用 50K 训练样本，比同类模型数据集最多小 12 倍。
arXiv 论文 2610.09639 通过受控合成框架测量发现，reverse-KL 在线蒸馏（OPD）能在三个模型家族的四个模型上稳定迁移跨未见推理结构的组合性技能，但几乎不迁移事实知识。消融显示换用 forward KL 可恢复事实迁移，学生 rollout 则专门提升多步推理执行；在事实问答与竞赛数学实验中呈现同样的不对称。结论是 OPD 不扩充模型参数化知识，而是教会模型组织与组合已有知识。
推荐理由：论文用受控合成框架区分知识与技能两类能力，说明了 reverse-KL 在线蒸馏为何只迁移推理技能而不扩充事实记忆。
Tianle Wang 等在 arXiv 发布论文，提出 Step-Aligned Privileged Distillation（SAPD），一种免 rollout 的自蒸馏方法，将示范解法转化为步对齐的分布性监督。在数学推理基准上平均优于 SFT 和标签平滑，与 on-policy 强化学习和自蒸馏相当，同时大体保持域外编码性能，训练循环较 on-policy 基线提速约 2x。代码已开源。
Hayate 是一个独立个人研究项目，目标是用大 LLM 做一次性标注、知识蒸馏出可在普通 CPU 上 1 ms 内完成网页分类的小模型。项目设三个学生档位：哈希词模式加线性层（远低于 1 ms）、固定词向量加线性层（约 1 ms）、int8 紧凑 Transformer（几 ms），并按质量、p50/p99 延迟和每百万页成本评估。项目目前处于规划阶段，计划 2026 年 12 月完成首条精度-速度权衡曲线，仅使用公开数据和模型，采用 MIT 许可证。
sdb-ml 在 GitHub 开源 TSTS-LLM 框架，通过 Teacher-Student Task Separation（受离线知识蒸馏启发）自动把复杂文本改写为适合儿童的语言。方法上用教师模型结合初学者词典与儿童故事做提示词工程生成数据，再用 QLoRA 训练轻量级学生模型，评估中性能甚至超过作为教师基础的 LLM。项目基于 MIT 协议开源，数据中包含 Llama3 70B 推理输出与评估结果。
streamweights 发布开源工具 spill，可在 Mac 或 Linux 上本地微调和蒸馏比内存更大的 LLM，通过按层从磁盘流式读取全精度权重，让 48 GB MacBook 以满精度运行 141 GB 的 Llama 3.3 70B。实测在 M4 Pro 上用 500 条标注样本将 qwen2.5:0.5b 蒸馏出 banking77 分类模型，44 秒完成构建，成绩从基线 0.200 提升到 0.640。支持跨机器可移植的任务状态（s3:// 等路径）断点续跑，可通过 spill export 合并适配器并转 GGUF 供 Ollama 使用，数据不离开本机；目前 spill build 仅在 Apple silicon 上验证通过，NVIDIA CUDA 版待验证。
推荐理由：原文给出了在 48 GB MacBook 上流式运行 141 GB 模型并蒸馏出小模型的实测数据和耗时，方法可直接复用。
GitHub 开源仓库 SLM-Lab 提供一套结构化的 SLM 与 LLM 动手实验笔记，覆盖从模型加载、微调、知识蒸馏、量化（INT8/INT4/GPTQ/GGUF）到 LLaMA Factory、Unsloth 加速及 RLHF/PPO/DPO 对齐的完整流程。内容含 13 个模块，包括基于 BERT 的 4 项 NLP 任务微调、以 TinyLlama-1.1B 构建药理学领域助手的四阶段管线，以及支持 100+ 开源 LLM 的 LLaMA Factory 实战教程。
GitHub 仓库 losophy/llm-finetuning-guide 记录大语言模型 LoRA 与 QLoRA 微调的学习路径，分为原理、Unsloth 纯代码跑通 Qwen2.5 微调、LlamaFactory 工业化封装、评估部署四个阶段，并含用蒸馏把 7B 模型知识灌进 0.5B 小模型的实战。仓库整理了 Unsloth（加速 2-5 倍、显存减半）与 LlamaFactory（71K+ Stars）等实战资源清单，强调 70% 时间应花在洗数据、100 条精品数据优先于 10000 条脏数据等心法。
独立研究项目 JevStyle-9B-Decision-Uncensored-v1 发布，基于 wangzhang/Qwen3.5-9B-abliterated 冻结底座，通过 LoRA（r=16）加决策头实现单次前向输出最多 24 个选项的校准概率分布，可部署增量约 145–165 MB。模型采用软标签 KL 蒸馏训练，公开 holdout 硬命中率 100%，敏感项安全类一致率 92.6%（后续 v5 软优化达 98.2%），权重以 Apache-2.0 发布，与 TypeSafe AI 或 Jev 无官方关联。
mii-llm 在 GitHub 开源了 Palingenesis，一款零配置的 LLM 微调工具，通过 pgs autopilot 可对 Qwen/Qwen3.5-4B 等模型自动完成训练。工具支持 Agentic masking、SeCO 超长序列、DPO 及其变体、on-policy 蒸馏和基于 Docker 容器的 Harbor 式 Agent RL；Qwen3.5-4B 微调（训练注意力通路，36% 权重）约需 16 GiB 显存，并附 RTX 4090 到 8×A100 的多档配置。
推荐理由：原文给出从数据准备到 RL 的完整微调流程和显存数字，读者可以按硬件配置直接复用或挑选其中的训练方法。
一项 arXiv 研究检验跨 tokenizer 在线蒸馏（OPD）中的序列与词表对齐问题。在三个异构师生模型对的数学推理与代码生成任务上，严格 1:1 对齐位置已覆盖绝大部分学生生成 token；将 reverse KL 限制在共享词表中学生选择的 top-16 子集，准确率与全共享词表 OPD 相当，优于所评测的跨 tokenizer 基线。对不匹配组补充 span log-probability 的 MSE 监督反而降低准确率，研究表明应从扩大对齐覆盖转向优先保障监督可靠性。
研究者提出多模态知识蒸馏（MKD）框架，用 Low-Rank Multimodal Fusion（LMF）融合预训练 WSI 图像编码器与临床文本编码器，由教师模型学习图像-文本融合表征，学生模型蒸馏后仅凭图像即可推理。在 PatchGastric 基准上，该方法平均准确率比 SOTA 至少高 3.35%，且不依赖 transformer 融合、多任务学习或大语言模型，源代码已开源。
NVIDIA Model Optimizer（ModelOpt）是集量化、剪枝、NAS、蒸馏、投机解码与稀疏化于一体的模型优化库，支持 Hugging Face、PyTorch 和 ONNX 输入，可导出至 SGLang、TensorRT-LLM、vLLM 等推理框架。近期 Qwen3.6-35B-A3B 的 NVFP4 W4A4 量化实现最高 1.30x vLLM 吞吐提升和 3.1x 更小的 checkpoint，Nemotron 3 Ultra（550B）量化后推理吞吐较 GLM-5.1 754B FP4 高达 5.9 倍。该库已开源，支持 FP8 与 NVFP4。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版，用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调，称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6，KL 散度 0.0793；ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数，视觉输入经测试可用，视频部分未测试。建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化，默认上下文 256k，其他版本仍在测试中。
推荐理由：作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据，读者可以据此自行判断这个去对齐微调版的质量。
一位 Reddit r/LocalLLaMA 用户提出从通用预训练加严格后训练构建领域专用本地模型：由通用模型负责推理并生成规格，专注编码模型负责实现，可编排并行以充分利用 GPU。作者认为这种“专家组+通用编排器”架构可能胜过 MoE，更适合 8-16GB 显存的低端 PC；其自用 28GB 显存（4070 加 5060ti 16GB）可跑双模型知识蒸馏与 RL 后训练。