新闻、仓库与研究，按时间排列。
understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。
推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。
GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型：向父模型生成问题并收集带推理的回答，用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调，再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本，并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段，1.0 前小版本可能有破坏性变更。
推荐理由：从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完，还用胜负率和成本对比衡量孩子与父模型的差距。
GitHub 上的 Distill-R1 项目将强化学习与在线师生蒸馏相结合，使用专门的教师模型来改进视觉语言模型训练。仓库目前处于早期阶段，尚无 star、fork 或 release。
ModelTC 的 LightX2V 是一个轻量图像/视频生成推理框架，支持 T2V、I2V、T2I、I2I 等任务，最新集成了 MiniMax-H3 全模态音视频生成并发布 4-step 768p 蒸馏 LoRA。官方基准显示在 H100 上 8 卡推理达 0.75s/it，约为 Diffusers 的 1.9 倍，并支持 8GB VRAM + 16GB RAM 运行 14B 模型生成 480P/720P 视频，提供 NVFP4/FP8 量化、三级 offloading 与多种国产芯片部署支持。
PostTrainLLM 发布 MIT 协议的 Mac-first LLM 训练工厂、运行时与浏览器 playground，完全本地运行、零云端。项目含 76 个实验的最终处置、18 份保留配方契约、九个学习阶段产出十三件工件，并给出实测结果：单 Mac 上用约 99 条 frontier rollout 蒸馏的 4B 模型在多轮 agentic 工具调用硬门槛上得 100%，与 DeepSeek-V4-pro 持平，高于 Gemma-4-12b-qat 的 83% 和原版 4B 的 75%。作者同时披露了局限，如 v11 到 v12 迁移中域外广度从 60% 回退到 42%，sealed V1 评测 57.1% 的意图路由器被标记为 production reject。
推荐理由：作者整理了完整的实验台账、方法文档与 Mac 单机实测数据，读者可以按配方复现这条本地训练与蒸馏路线。
API Evangelist 在 GitHub 发布了 OpenPipe 的第三方公开 API 档案，包含 Kin Score 和 Agent Readiness 两个独立评分。OpenPipe 是一个微调与推理平台，可将昂贵的前沿 LLM 工作负载蒸馏为更小、更便宜的专业模型，支持捕获 OpenAI 和 Anthropic 的生产 trace、judge 评估、结果缓存，并通过 OpenAI 兼容 API 提供服务，同时支持代理外部模型。档案信息全部来自公开渠道，仓库不含任何软件。
veen-systems 在 GitHub 开源 LLM Distillery 框架，用 Gemini Flash 作 oracle 生成标注数据，蒸馏出本地运行的 Qwen2.5-1.5B/7B 领域分类器，成本降低 100 倍、推理快 50 倍。已部署 sustainability_technology v1 和 uplifting v5 两个过滤器（Qwen2.5-1.5B + LoRA，18.5M 可训练参数，MAE 分别为 0.690 和 0.681），涵盖数据准备、验证、训练与预过滤/模型/后过滤三级推理流水线；按每日 4000 篇文章估算，单过滤器每年可节省约 1450 美元，项目采用 EUPL v1.2 许可证。
streamweights 发布开源工具 spill，可在 Mac 或 Linux 上本地微调和蒸馏比内存更大的 LLM，通过按层从磁盘流式读取全精度权重，让 48 GB MacBook 以满精度运行 141 GB 的 Llama 3.3 70B。实测在 M4 Pro 上用 500 条标注样本将 qwen2.5:0.5b 蒸馏出 banking77 分类模型，44 秒完成构建，成绩从基线 0.200 提升到 0.640。支持跨机器可移植的任务状态（s3:// 等路径）断点续跑，可通过 spill export 合并适配器并转 GGUF 供 Ollama 使用，数据不离开本机；目前 spill build 仅在 Apple silicon 上验证通过，NVIDIA CUDA 版待验证。
推荐理由：原文给出了在 48 GB MacBook 上流式运行 141 GB 模型并蒸馏出小模型的实测数据和耗时，方法可直接复用。
GitHub 开源仓库 SLM-Lab 提供一套结构化的 SLM 与 LLM 动手实验笔记，覆盖从模型加载、微调、知识蒸馏、量化（INT8/INT4/GPTQ/GGUF）到 LLaMA Factory、Unsloth 加速及 RLHF/PPO/DPO 对齐的完整流程。内容含 13 个模块，包括基于 BERT 的 4 项 NLP 任务微调、以 TinyLlama-1.1B 构建药理学领域助手的四阶段管线，以及支持 100+ 开源 LLM 的 LLaMA Factory 实战教程。
mii-llm 在 GitHub 开源了 Palingenesis，一款零配置的 LLM 微调工具，通过 pgs autopilot 可对 Qwen/Qwen3.5-4B 等模型自动完成训练。工具支持 Agentic masking、SeCO 超长序列、DPO 及其变体、on-policy 蒸馏和基于 Docker 容器的 Harbor 式 Agent RL；Qwen3.5-4B 微调（训练注意力通路，36% 权重）约需 16 GiB 显存，并附 RTX 4090 到 8×A100 的多档配置。
推荐理由：原文给出从数据准备到 RL 的完整微调流程和显存数字，读者可以按硬件配置直接复用或挑选其中的训练方法。
NVIDIA Model Optimizer（ModelOpt）是集量化、剪枝、NAS、蒸馏、投机解码与稀疏化于一体的模型优化库，支持 Hugging Face、PyTorch 和 ONNX 输入，可导出至 SGLang、TensorRT-LLM、vLLM 等推理框架。近期 Qwen3.6-35B-A3B 的 NVFP4 W4A4 量化实现最高 1.30x vLLM 吞吐提升和 3.1x 更小的 checkpoint，Nemotron 3 Ultra（550B）量化后推理吞吐较 GLM-5.1 754B FP4 高达 5.9 倍。该库已开源，支持 FP8 与 NVFP4。
gelevanog 发布开源项目 Distillery，提供从教师模型生成与标注数据、LoRA 微调小模型到路由器分流评测的完整可复现流水线。
推荐理由：作者用真实跑通的数据展示蒸馏全流程的每一步收益与短板，包括路由器分流比例和每千条成本，方法可直接迁移到类似单任务场景。