新闻、仓库与研究，按时间排列。
NVIDIA Model Optimizer（ModelOpt）是集量化、剪枝、NAS、蒸馏、投机解码与稀疏化于一体的模型优化库，支持 Hugging Face、PyTorch 和 ONNX 输入，可导出至 SGLang、TensorRT-LLM、vLLM 等推理框架。近期 Qwen3.6-35B-A3B 的 NVFP4 W4A4 量化实现最高 1.30x vLLM 吞吐提升和 3.1x 更小的 checkpoint，Nemotron 3 Ultra（550B）量化后推理吞吐较 GLM-5.1 754B FP4 高达 5.9 倍。该库已开源，支持 FP8 与 NVFP4。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版，用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调，称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6，KL 散度 0.0793；ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数，视觉输入经测试可用，视频部分未测试。建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化，默认上下文 256k，其他版本仍在测试中。
推荐理由：作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据，读者可以据此自行判断这个去对齐微调版的质量。
一位 Reddit r/LocalLLaMA 用户提出从通用预训练加严格后训练构建领域专用本地模型：由通用模型负责推理并生成规格，专注编码模型负责实现，可编排并行以充分利用 GPU。作者认为这种“专家组+通用编排器”架构可能胜过 MoE，更适合 8-16GB 显存的低端 PC；其自用 28GB 显存（4070 加 5060ti 16GB）可跑双模型知识蒸馏与 RL 后训练。
论文提出 on-policy power distillation（OPPD），将 power distribution 的推理增益蒸馏进模型单次生成。训练中由被训模型生成候选、冻结教师模型的幂分布加权，并用相同概率做最大似然更新。
推荐理由：论文给出 OPPD 与 GRPO 及多次采样 power sampling 的对照数据，可据此评估单次生成逼近采样增益的可行幅度。
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee，参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征，分别训练文本侧与解码器后拼接，并量化为 int8；int8 版本仅 8.5 MB，单 CPU 线程下 25 倍实时速度，UTMOS 得分 4.41（教师为 4.52）。
推荐理由：论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程，方法无需对齐学习，可在单 CPU 上复现部署。
Zaiquan Yang 等在 arXiv 发布论文（arXiv:2610.05373），提出 Un-OPD 框架，解决块扩散语言模型（BDLM）在线蒸馏中的两类优化偏差：师生块边界不匹配导致的上下文错位，以及高支持度信号被快速吸收引发的过度自信坍缩。
Reddit r/LocalLLaMA 用户 jjjusko20 正在对 AliceAI-80B-A3B-Base 做 instruct 微调，目标是让模型具备智能体工作与对话能力，并用 Qwen 3.8 27B 的浅层知识蒸馏教其链式推理。
gelevanog 发布开源项目 Distillery，提供从教师模型生成与标注数据、LoRA 微调小模型到路由器分流评测的完整可复现流水线。
推荐理由：作者用真实跑通的数据展示蒸馏全流程的每一步收益与短板，包括路由器分流比例和每千条成本，方法可直接迁移到类似单任务场景。
Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo，以 LoRA 形式实现 6 步生成替代 40 步，无需 CFG，端到端约快 5 倍，质量与基座接近。
推荐理由：原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板，读者可据此判断该 LoRA 是否适合自己的部署场景。
Lightricks 在 Hugging Face 开放 LTX-2.5 权重，这是一个可本地执行与微调的开放世界模型，可从文本、图像和视频输入生成同步的高保真视频与音频。
推荐理由：官方模型卡完整列出了各组件权重文件、量化变体与运行约束，读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。
Reddit r/LocalLLaMA 用户汇报 AliceAI-80B-A3B-Base 的 instruct 微调进展：第 1 轮 SFT 完成，模型初步学会链式推理和对话，但 500 万 token 训练数据广度不足，checkpoint #1 严重欠拟合并暂不发布。
arXiv 论文提出“深度即时间”的实证观察：多步扩散的去噪计算在单步生成中被重组到单次前向传播的网络深度里，可用模型自身输出头解码中间层恢复。研究发现该现象依赖输运任务，MeanFlow 单次评估中同时出现去噪与再加噪；MeanFlow SiT-L/2 模型可被压缩 16.6× 参数为单个时间条件块。
arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏（OPD）为何有时提升性能、有时坍缩为过长且重复的生成：教师隐式奖励学生行为，即使教师自身很少表现出这些行为。
推荐理由：论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩，并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。
一项研究在 ZebraMap 上将 1.5B 学生模型基于 8B 教师模型的链式推理轨迹进行微调，教师生成时可见真实诊断。经污染过滤的 StudentF 变体准确率显著超过教师（p < 0.001），未过滤学生则无显著优势（p = 0.129）。增益源于用 regex 过滤消除"GT hallucination"伪影，将污染降至近零，但整体效应仍小。
一项被 EMNLP 2026 录用的研究提出两段式简历-职位匹配方案：先由基于 LLM 的标注器根据招聘者反馈生成 8 个可解释匹配维度的标签，再将其蒸馏为带 LoRA 适配嵌入骨干的 feature bi-encoder，可在 CPU 上服务全部在线请求。