新闻、仓库与研究，按时间排列。
一项被 NeurIPS 2026 主会接收的研究通过机械可解释性分析发现 LoRA 的适配效果在组件和层级上高度稀疏，且关键层高度依赖任务、跨任务重叠有限。论文提出 Adaptive-LoRA，基于冻结基座的 zero-ablation 校准自动识别任务相关层；在 Qwen2.5-1.5B 上跨 11 个推理任务仅用 30% 的层即超过全层 LoRA，适配器参数减少 $3.5\times$。论文地址 https://arxiv.org/abs/2610.34756v1。
推荐理由：论文用机械可解释性方法解释 LoRA 层稀疏性，并给出可复用的自动选层方法，30% 层即超过全层 LoRA 的结果具体可查。
研究者提出 DynEdit，一种面向大语言模型长序列知识编辑的动态框架。该方法发现高熵 token 更难编辑且多含关键事实，据此利用 token 级熵引导非均匀滑动窗口，并对窗口内信息密集 token 做熵引导优化。在三个 benchmark 和两个 backbone 模型上，DynEdit 一致优于基线，复述查询最高提升 +14.0 BLEU，多项知识领域语义分数接近饱和，论文被 NeurIPS 2026 主会接收为 poster。
一项实证研究将指令微调中的“数据质量”操作化，在固定微调预算下比较多个示例级指标对训练效用的预测能力。方法是将样本按指标分数分为低、中、高三档分别微调，用验证 perplexity 和 LLM-as-judge 评分评估。结果显示，以 response ratio 衡量的答案密集型监督比常用替代指标更能稳定预测指令微调效用。
arXiv 论文 arXiv:2610.33813 用匹配的 400M encoder-decoder 模型对（Ettin）在三种任务格式上对比 LoRA 与全量微调做提示词安全分类，每个单元格最多 15 个随机种子并预注册分析。在预设学习率下全量微调在仅用标签训练时领先 LoRA 2-3 pp，编码器上学习率经同一搜索后差距消失；让 LoRA 在判定后写理由可提升 4.0 pp 并追平差距。微调模型域内超过 prompted 8B，但在三个分布外语料中两个落后，对抗性越狱场景落后 8-23 pp，且把 27-66% 良性但形似有害的提示词误判为不安全，而 8B 为 2-3%。结论是适配方式的影响小于训练方式、学习率和训练目标，域内准确率不足以衡量鲁棒性。
Avichaudhry 基于 Unsloth 在本地硬件上用 4 个 Claude-4.6-OS 数据集微调 Qwen3.5-2B dense 模型，发布完全无审查的 HERETIC 版本。该模型在 arc、boolq、piqa 等多数 benchmark 上超过基座（如 arc 0.366 对 0.348），推理"size"经训练缩减，视觉图像功能测试可用，原生上下文长度 262,144，建议最低 q4ks 或 IQ3S 量化。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding，使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上，其宏平均达 0.5488，为受评 0.6B 模型中最高，并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏，均值从 0.4813 提升至 0.5488，且模型权重、代码与数据集均已开源。
作者提出 TopKLoRA，一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体，仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中，识别并消融了实现后门所必需且充分的回路，稀疏回路比稠密 LoRA 基线小至多一个数量级，可在不牺牲指令跟随性能的情况下手术式移除恶意能力，并开放了代码。
推荐理由：论文给出可解释稀疏微调方法，并在多个模型上定位并消融后门回路，稀疏回路比稠密 LoRA 小约一个数量级。
论文提出 Frontier-OPD，一种面向多轮智能体的在线策略蒸馏方法，通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图，用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示，其平均自主性能高于所对比的蒸馏基线；在某个 ALFWorld 计时设置下，额外采集成本被更快达到目标成功率所抵消。
一项 arXiv 研究提出保守残差路由方法，用于因子化 Transducer ASR 的纯文本领域自适应：适配后的 predictor 作为基础模型的残差修正，由一个 16k 参数的门控在每个前缀决定采纳程度，关门时完全还原基础模型。在 40 小时会话语料上，两个留出域 WER 从 19.89/20.91 分别降至 16.74/16.21，源域 WER 基本不变（12.90 至 12.93），且无需目标域音频的按域调优。
一项 arXiv 研究提出用伪标签作为 GRPO（Group Relative Policy Optimization）的奖励参考，而非 SFT 的微调目标，以降低半监督 ASR 中的标签噪声传递。在银行领域，基于 Whisper 生成标签时，GRPO 相对 SFT 提升 29.3% 到 56.2% 的相对 WER，且优势在四种 Whisper 尺寸、四个教师模型族、三个领域和四种语言上均成立。SFT 几乎逐字复现 100% 的教师错误，GRPO 仅传递 27%。
一项研究发布巴什基尔语开源资源套件与适配方法系统基准，含 71,567 篇文档、46.9M tokens 的网页语料及三个文本分类标注数据集。实验覆盖 82M-8B 的八种架构，比较全量微调、QLoRA、in-context learning 和持续预训练（CPT）：QLoRA 在二分类上优于编码器微调，YandexGPT-5-Lite-8B 加 CPT 达 macro-F1 0.748，高于 XLM-R 的 0.653 和 mBERT 的 0.650。CPT 效果因模型而异，西里尔 tokeniser 更优，且 LLM 评审无法复现母语者的语言正确性评分，母语评测仍不可少。
该研究在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个单文档 LoRA 适配器，发现开卷分数主要衡量所有适配器共享的阅读行为：随机适配器可恢复专家适配器 82% 的开卷优势，但在不提供原文的 cloze 探针上仅约 2%，与零无法区分。内容确实进入权重——专家适配器在 cloze 召回上超出基线 0.094，但 16 篇以上文档的合并只能恢复 12% 到 16% 的 cloze 优势（联合训练为 94%）。作者还报告了四个会产生看似干净却错误结果的隐性错误。
TristanUK 在 Hugging Face 上传了 abliterated LoRA 微调模型 onyx-qwen2.5-7b-abliterated-lora，基于 huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 微调而来，采用 apache-2.0 许可证。该模型借助 Unsloth 实现了 2 倍训练加速，可在 Transformers 中通过 AutoModel 直接加载使用。
该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案，用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B，面向十种语言的开放式问答（QA-OEG）。在相同解码设置下，目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%；在 Aya Evaluation Suite 评测中，macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性：目标语言的上下文问答及非目标语言的三项任务得分均有下降。
一项 arXiv 研究提出针对 DPO 计算图的随机剪枝统一框架，可独立对评分的响应位置、执行的响应前缀和反向传播的偏好分支进行采样，从而省略训练各阶段的计算。分析刻画了位置与序列剪枝引起的目标变化，并用逆概率加权得到条件无偏的单分支梯度估计器。实验显示分支剪枝相比拼接式 DPO 基线获得 1.426x 步时加速，训练时间较原版 DPO 降低约 30%，均值准确率略降。
研究者提出自动化合成框架 DynaWeave，可将静态任务转化为可验证的动态场景，用 DAG 表示事件依赖并触发外生事件以训练 LLM 智能体。该框架在 36 个环境中收集了 2,095 条经验证的交互轨迹，用于对 Qwen3.5 模型做监督微调。实验显示其在 Gaia2、CostBench 和 ToolMaze 三个基准上均有一致提升，CostBench 任务完成率提高 67.34 个百分点，并在 ToolMaze 上超过 Gemini-3.1-Pro-Preview，代码已开源。
Riyan200324200324 基于 DeepSeek-R1-Distill-Qwen-32B 发布去审查版本 DeepSeek-R1-Distill-Qwen-32B-Uncensored，采用 Guilherme34 的 uncensor 数据集与 QLoRA 微调，遵循 MIT 许可。模型需手动设置指定 system prompt 以获得去审查输出，训练使用 2 x RTX 4090（24 GiB），共 4 个 epoch；因完全依从请求，建议自行加对齐层。
Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X，基于 Qwen3-14B，用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%（关闭思考），比起点 Qwen3-14B 高 27 分，接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800，分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU，可用 vLLM 部署，支持作为 agent 工具调用，未做临床验证、不可用于医疗决策。
推荐理由：原文给出五项 DNA 基准得分、成本对比和完整训练配方，读者可以据此评估这个 DNA 语言模型的实际水平与用法。
arXiv 论文 arXiv:2610.27711 发现，在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式，原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何，而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow，其上各层高度冗余，截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍，同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3，并在 QNLI 和 SST-2 上重现相同层级结构。
一项 arXiv 研究通过在同一模型族不同规模上进行密集网格实验，系统分析了 DPO 的学习率与正则化参数 β 等超参数随模型规模和更新步数的演化。研究发现最优学习率随模型大小变化、超参数不可跨数据集迁移，且验证损失与下游 benchmark 最优超参数仅弱相关。作者还指出短程候选训练可大幅降低调参成本，并公开了全部训练配置与评测结果。
一项 arXiv 研究跟踪一个 8.4B 参数模型在日文金融文档上历经三个训练阶段的表现，在五个文本输入基准上评估后发现各阶段相互影响呈非加性：纯数学蒸馏会覆盖先前获得的金融知识，领域阶段修复多于新增内容。跳过阶段的消融虽最利于领域知识，却损失数值推理增益，因此最佳 checkpoint 取决于任务本身。
zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA（rank 32，107M 参数，仅作用于 attention 与 shared experts），采用自蒸馏 SFT 加 DPO 两阶段训练，可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。
推荐理由：原文给出训练方法与前后对照数据，敏感话题审查率从65%降到1%，能力测试差异也在文中列明，可据此自行判断。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的长期记忆写入模型，可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段，先做 Memory On-Policy Distillation 再做归因记忆强化学习，可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49，超过 Claude Opus 5（54.62）和 DeepSeek V4.1 Flash（53.64）。权重、框架代码和技术报告均已开源。
推荐理由：原文给出了固定基准矩阵上与多个通用大模型的横向对比，可以评估这个小模型在记忆写入上的性价比。
arXiv 论文提出 MultiAgent-OPD，将 on-policy distillation 与强化学习结合，端到端联合训练共享参数的 Leader-Searcher-Answerer 多智能体团队。冻结的 Teacher 模型对 Searcher 生成的搜索和摘要 token 打分提供过程监督，Leader 从团队成败学习，Answerer 从候选答案正确性学习。在七个数据集上系统达到 38.68% macro avg@4，超过 Prompted Critic 4.06 个百分点、超过 C-MAS + RL 2.61 个百分点。
arXiv 论文提出 MoEvolve，一个面向 MoE 大语言模型的双向蒸馏框架，通过“先恢复再提升”策略，将激活扩展后的高-k 模型作为更强教师，再把增强后的能力蒸馏回原始低-k 配置并保留推理时的激活预算。该框架在多个 MoE 模型和基准上将初始模型最高提升 22.2 个领域平均分，比同预算 RLVR 基线最高高出 6.5 分，且最终低-k 模型常常超过其激活扩展教师。
研究者提出 TreeOPSD，一个无需 critic 的树感知后验自蒸馏框架，用于长程智能体强化学习。该方法将每轮交互视为树节点，从共享前缀分支备选续写，并将终止奖励递归回传为隐式轮级信用，映射为有界的闭式教师分布。在 Deep Research 设定下，TreeOPSD 使 Qwen3-30B-A3B-Thinking-2507 的平均准确率较 GRPO 提升 4.97 分。
一项 arXiv 研究提出在 Transformer 每个模块训练局部代理网络，通过知识蒸馏预测全局网络输出，使梯度无需存储全部激活值即可独立回传，理论上对深层线性网络精确成立，非线性残差模型中梯度误差有界。该方法在 CIFAR-100 上的 vision transformer 实验中取得优于其他局部算法的准确率/内存权衡，用于小内存预算下微调大语言模型时，比 zeroth-order 学习算法训练更快、性能更高。
研究者推出 Multi-SFT，一个可商用的监督微调数据集，含 502,818 条指令-回复对，覆盖五种欧洲语言。人工评估显示各数据集与语言间标注者一致性至少 0.87。对 EuroLLM、OLMo 2、Qwen3 三个家族的 9 个模型（1B-32B）微调并在 13 个 benchmark 上评估，结果显示仅用 Multi-SFT 即可与更大的增强混合数据集及官方指令微调版本竞争，在安全任务上优势明显。
一项 arXiv 研究提出“变体碎片化”问题，指出混合纳瓦特语（Nawatl）多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础，用 2,665 平行对和 192 句长者转写句子，将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa（nhn）变体，所得 LoRA-v9c-b 模型取得 58.46 dev chrF++；有限状态分析器将未分析表层形式从 82.0% 降至 19.9%，CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒，支持低成本 Cloud Run 部署。
研究者提出 AutoSFT，一个用于监督微调（SFT）数据自动化研究的多智能体系统，由 meta agent 分离执行与分析，并调用 synthesis 子智能体补充数据池无法覆盖的操作。相比单智能体，executor 将上下文丢失减半，分析子智能体使 IFEval 提升 +6.5，合成再加 +3.4 IFEval 和 +2.9 IFBench；同一流程迁移到代码任务可带来 +3.7 MBPP+。所有结果均基于每轮从基座模型重新训练，结论表明自动化 SFT 数据研究更依赖覆盖多样化的数据操作。
一项 arXiv 研究区分了语言模型中的“活性事实”与“惰性事实”：前者能在微调后泛化到共享答案的保留主体，后者只能被召回却无法支持泛化。研究通过在既有关系上构造任意重标注的新关系来检验泛化，覆盖 11 个语言模型和 70 个关系，原始关系在预训练表示中的线性可读性与之强相关，模型内 Pearson r 为 0.87 至 0.92。结论是新关系能否泛化，更多取决于其共享结构能否被线性读出，而非事实本身能否被召回。
一项 arXiv 研究提出通过对注意力头按梯度范数排序和划分，实现语言模型的稀疏与持续强化学习微调。实验覆盖数学、指令遵循和编码任务，微调高排名注意力头的效果稳定优于低排名者，且常能匹敌更稠密的微调基线；按任务划分注意力头可减少跨任务干扰、提升旧能力保留，同时保持对新任务的适配。
研究者提出 TITAN 框架，通过因果干预、稀疏特征分解与定向偏好优化，定位并优化 decoder-only 多语言 LLM 中的翻译回路，仅更新不到 5% 的模型参数。该方法在印地语到乌尔都语和信德语（天城文）翻译上分别取得 33.75% 和 45.86% 的 BLEU 提升，人工评估也确认了充分性与流畅度的显著改善。分析显示多语言翻译通过共享语义子空间上的稀疏结构化回路实现，而非以英语为中心的枢轴表示。
研究者提出 Function-isolated Memory-Efficient Optimization（CiMEO）持续学习框架，通过梯度归因分析定位 LLM 中认知相关的功能子网络，将训练样本路由至对应子网络，把参数更新和优化器状态限制在选定区域。在 140 万条顺序指令上，CiMEO 在覆盖编程、考试型任务和数学推理的五个生成式 benchmark 中取得对比方法的最高平均性能，同时缓解灾难性遗忘。子空间重叠与主角度分析表明局部化更新有助于保留预训练表征。
shimbaaa 在 Hugging Face 上发布 Supra2-100M-Uncensored-Instruct，一个 100M 参数的指令模型，基于 SupraLabs/Supra2-100M-Base 经两阶段 LoRA 训练，训练上下文长度 512，采用 Apache-2.0 许可。模型被训练为以 Yes-Man 风格顺从用户提示，未做安全对齐，会认同错误前提；两阶段均混入 Dolly-15k 回放数据以减少灾难性遗忘。
Black Forest Labs 发布 FLUX.3 Image Klein，开放蒸馏版（16 步、无 CFG）和 base 版（50 步、CFG）两个权重，首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制，蒸馏版在 H100 上约 2 秒生成 1024×1024 图像，提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。
推荐理由：官方教程给出两个开放权重的显存占用和 H100 实测生成耗时，还拆解了架构细节，方便评估部署成本。
Wei Chen 等人在 arXiv 发布 HP-RLVR（Hindsight-Privileged RLVR），用已完成轨迹自身的未来信息生成 token 级更新权重，替代 GRPO 的组采样。方法对每个 token 在因果历史与含验证器反馈的后见上下文两种视角下打分，以归一化 Jensen-Shannon 散度加权奖励，成功与失败轨迹都有有界信用，无需参考答案或 critic。在共享 100 步 schedule 的 Qwen3-8B 配对实验中，HP-RLVR 在数学、代码生成和 ALFWorld 上分别比 GRPO 快 1.21x、1.46x 和 2.30x，每 prompt rollout 用量为八分之一；总体准确率相当，数学上 HP-RLVR 领先，代码与 ALFWorld 上 GRPO 领先。
VASPO（Value-Augmented Self-Distillation Policy Optimization）在 PPO 框架内整合自蒸馏与特权价值估计：critic 从预测续写回报计算 token 级优势，自教师通过有界概率比调制部分正优势。在六个数学推理 benchmark 上，VASPO 在 Qwen3-4B 和 OLMo3-7B 上分别比 PPO 平均准确率提升 2.59 和 1.81 个百分点，并在 Knights and Knaves 上取得评测方法中的最高平均准确率。代码已开源。