按兴趣浏览，循来源深入。
作者提出 TopKLoRA，一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体，仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中，识别并消融了实现后门所必需且充分的回路，稀疏回路比稠密 LoRA 基线小至多一个数量级，可在不牺牲指令跟随性能的情况下手术式移除恶意能力，并开放了代码。
推荐理由：论文给出可解释稀疏微调方法，并在多个模型上定位并消融后门回路，稀疏回路比稠密 LoRA 小约一个数量级。
Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X，基于 Qwen3-14B，用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%（关闭思考），比起点 Qwen3-14B 高 27 分，接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800，分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU，可用 vLLM 部署，支持作为 agent 工具调用，未做临床验证、不可用于医疗决策。
推荐理由：原文给出五项 DNA 基准得分、成本对比和完整训练配方，读者可以据此评估这个 DNA 语言模型的实际水平与用法。
zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA（rank 32，107M 参数，仅作用于 attention 与 shared experts），采用自蒸馏 SFT 加 DPO 两阶段训练，可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。
推荐理由：原文给出训练方法与前后对照数据，敏感话题审查率从65%降到1%，能力测试差异也在文中列明，可据此自行判断。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的长期记忆写入模型，可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段，先做 Memory On-Policy Distillation 再做归因记忆强化学习，可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49，超过 Claude Opus 5（54.62）和 DeepSeek V4.1 Flash（53.64）。权重、框架代码和技术报告均已开源。
推荐理由：原文给出了固定基准矩阵上与多个通用大模型的横向对比，可以评估这个小模型在记忆写入上的性价比。
Black Forest Labs 发布 FLUX.3 Image Klein，开放蒸馏版（16 步、无 CFG）和 base 版（50 步、CFG）两个权重，首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制，蒸馏版在 H100 上约 2 秒生成 1024×1024 图像，提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。
推荐理由：官方教程给出两个开放权重的显存占用和 H100 实测生成耗时，还拆解了架构细节，方便评估部署成本。
论文提出 Selective Rank-Preserving SFT（SRP-SFT），用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系，并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中，三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT；种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%，四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。
推荐理由：论文给出 SRP-SFT 的可行域刻画与多种子实验数据，读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。
Tejas Vaidhya 在 arXiv 论文中提出 Tab-Loop，将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环应用 k 次，其余编码器、解码器、合成先验和训练配方不变。在相同预训练算力 18.2 EFLOP 与相同推理算力下，参数量从 27.6M 降到 10.4M，held-out log loss 0.4583 对 0.4588，200 个 TALENT 数据集平均准确率 84.10% 对 83.92%，38 个 TabArena 数据集 Elo 1409 对 1396。由于权重共享，深度可在推理时选择，在训练范围内增加循环次数可提升精度且超出范围仍成立，用更深的循环继续训练可在 4–5 倍推理算力下达到基线 stage-2 成绩。
推荐理由：论文在相同预训练与推理算力下对比权重共享与独立参数，给出参数量、精度和 Elo 的具体数字，可迁移到 ICL 模型的参数效率设计。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model，用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示，泛化窄度与训练情境人格和默认人格的相似度正相关（Pearson's r = 0.72）；在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization（PPR），在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%，同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1
推荐理由：论文用 120 个微调模型的数据解释行为为何跨情境泛化，并给出能将 reward hacking 压到 0.2% 的正则化方法。
Jonghyun Han 在 arXiv 发布论文，发现持续预训练和微调中的灾难性遗忘集中在语料中罕见出现的 token 的输出嵌入，由 Adam 二阶矩归一化放大单侧 softmax 梯度所致。提出仅对输出投影提高 Adam epsilon 的干预，在 160M 到 12B 参数、四个模型族的八个设置中消除 39.4% 到 67.9% 的遗忘且不损害目标学习，与 replay 叠加后在 Qwen/Korean 上达到 79.8%，但事后编辑漂移行只能恢复不到 5%，因此必须在训练期间施加干预。
推荐理由：论文把灾难性遗忘定位于低频词的输出嵌入，并给出仅调 Adam epsilon 的单行干预及其跨 8 个设置的验证数据。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
arXiv:2610.08718 研究微调中语言模型的伪遗忘（spurious forgetting），发现被遗忘的旧知识往往仍存储在模型中且可恢复。作者用最小联想记忆模型复现遗忘动态，指出其依赖共享结构的键、集中新值和网络归一化三个要素：微调使旧表示沿共同方向整体移动，暂时隐藏旧事实但保留其相对几何；新数据只把旧记忆一起移动时遗忘可逆，逐事实改变累积时才造成永久侵蚀。实验显示减去共同位移可消除 Transformer 的崩溃，从权重更新中移除单一方向可在预训练语言模型中恢复旧事实。
推荐理由：论文把微调遗忘拆成可逆的共同位移和不可逆的个体侵蚀两部分，并给出恢复旧知识的干预方法。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版，用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调，称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6，KL 散度 0.0793；ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数，视觉输入经测试可用，视频部分未测试。建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化，默认上下文 256k，其他版本仍在测试中。
推荐理由：作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据，读者可以据此自行判断这个去对齐微调版的质量。
论文提出 LoGRA，一种通过低秩梯度草图保留学习信号的 RL 后训练方法，可将平均训练内存最多降低 45.7% 且不损失性能。该方法配合 predicted-KL 步长控制防止更新过大，并支持在单个八 GPU 节点上稳定训练 27B 参数模型超过 1,100 步，而 dense Adam 在此场景下会内存溢出。代码开源于 Molt 库。
推荐理由：原文给出了 LoGRA 的内存压缩幅度和 27B 模型单节点训练步数等具体数据，可据此评估该方法对 RL 训练内存瓶颈的缓解程度。
Microsoft 在 Hugging Face 发布 FrogNano-4B-2609，基于 Qwen3.5-4B 纯强化学习后训练的仓库级编程 Agent。
推荐理由：微软以约 1500 个合成任务做纯强化学习，把 4B 模型的 SWE-bench Verified 分数从 39.4% 提到 61.5%，未依赖更强模型的轨迹。
nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink，目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100（静态 FP8，原模型为 177/444/83），94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重，均含内置 MTP，支持 SGLang 免补丁加载，并给出 DFlash2 与 MTP 两种投机解码的测速建议。
推荐理由：从模型卡给出多档量化的完整三套评测与截断对比，读者可据此判断修复后模型在精度和速度上的实际表现。
ausboss 在 Hugging Face 发布 Qwen-Image-2.1-Outfit-Swap-Consistency-LoRA，让 Qwen Image 2.1 在把图片 2 的服装穿到图片 1 人物身上时保持画面原位。在 16 个未训练过的换装样本上，结果偏离从无 LoRA 的 3.6 px 降到 0.1 px，面部明显变化像素从 14.1% 降到 1.7%，背景从 10.8% 降到 0.9%；提供 step 1000/1250/1500 三个权重文件，主推 step 1000，rank 32，用 ostris/ai-toolkit 以 66 对样本训练 1500 步。不改变服装绘制质量，且保持原有姿势，需要换姿势的服装不适用。
推荐理由：作者用 16 个未训练过的换装样本给出位移、面部和背景像素级对比，读者可据此判断这个 LoRA 值不值得装进自己的 ComfyUI 工作流。
Ai2 开源了基于 Qwen3-8B 的科研报告生成模型 AstaBrief 8B 及训练数据，模型可将研究问题和检索到的文献片段转化为带引用的报告，已在 Asta 平台作为 Fast mode 上线。
推荐理由：官方完整披露了 SFT 与 DPO 数据构建、引用密度过滤和评测细节，读者可复用其数据质量过滤方法。