新闻、仓库与研究，按时间排列。
GitHub 仓库 enhancing-llms 提供论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验代码，探索面向领域任务的新颖微调方法。其方法在 GLUE 和 SuperGLUE 上分别取得 92.5% 和 89.3% 的成绩，比基线提升 +8.3% 和 +12.5%。仓库含训练、评测脚本与实验配置，采用 MIT License 开源。
一项被 NeurIPS 2026 主会接收的研究通过机械可解释性分析发现 LoRA 的适配效果在组件和层级上高度稀疏，且关键层高度依赖任务、跨任务重叠有限。论文提出 Adaptive-LoRA，基于冻结基座的 zero-ablation 校准自动识别任务相关层；在 Qwen2.5-1.5B 上跨 11 个推理任务仅用 30% 的层即超过全层 LoRA，适配器参数减少 $3.5\times$。论文地址 https://arxiv.org/abs/2610.34756v1。
推荐理由：论文用机械可解释性方法解释 LoRA 层稀疏性，并给出可复用的自动选层方法，30% 层即超过全层 LoRA 的结果具体可查。
研究者提出 DynEdit，一种面向大语言模型长序列知识编辑的动态框架。该方法发现高熵 token 更难编辑且多含关键事实，据此利用 token 级熵引导非均匀滑动窗口，并对窗口内信息密集 token 做熵引导优化。在三个 benchmark 和两个 backbone 模型上，DynEdit 一致优于基线，复述查询最高提升 +14.0 BLEU，多项知识领域语义分数接近饱和，论文被 NeurIPS 2026 主会接收为 poster。
一项实证研究将指令微调中的“数据质量”操作化，在固定微调预算下比较多个示例级指标对训练效用的预测能力。方法是将样本按指标分数分为低、中、高三档分别微调，用验证 perplexity 和 LLM-as-judge 评分评估。结果显示，以 response ratio 衡量的答案密集型监督比常用替代指标更能稳定预测指令微调效用。
arXiv 论文 arXiv:2610.33813 用匹配的 400M encoder-decoder 模型对（Ettin）在三种任务格式上对比 LoRA 与全量微调做提示词安全分类，每个单元格最多 15 个随机种子并预注册分析。在预设学习率下全量微调在仅用标签训练时领先 LoRA 2-3 pp，编码器上学习率经同一搜索后差距消失；让 LoRA 在判定后写理由可提升 4.0 pp 并追平差距。微调模型域内超过 prompted 8B，但在三个分布外语料中两个落后，对抗性越狱场景落后 8-23 pp，且把 27-66% 良性但形似有害的提示词误判为不安全，而 8B 为 2-3%。结论是适配方式的影响小于训练方式、学习率和训练目标，域内准确率不足以衡量鲁棒性。
LLMCL 项目记录少数据多模态持续学习与紧凑模型研究：基于 Qwen2-VL-2B-Instruct 与 LLaVA-OneVision-Qwen2-0.5B-OV 双骨干、1313 条训练数据与 21454 条测试，正式完成 8/16 组核验，唯一指标为 Answer F1。最新 FFN 真实删除对照使完整权重减少 199.5MiB（11.704%），但 DEV 宏 F1 从 43.791987 降至 19.620168，该构造已关闭；尚无权重更小且保留强参照质量的自研框架。
GitHub 仓库 enhancing-llms 发布论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验，探索面向领域任务的新型微调方法。该方法在 GLUE 上取得 92.5%（较基线 +8.3%）、SuperGLUE 上取得 89.3%（+12.5%）的 SOTA 结果，并提供高效训练管线，代码以 MIT 许可开源。
Beamoaadvance 在 GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，使 LLM 能在动态环境中实时自适应调整。该方法支持持续学习而不发生灾难性遗忘，无需完整重训练即可轻量更新，在多类动态环境中较基线提升 16.8%-19.1%（如 Temporal Changes 场景从 69.8% 提至 88.9%）。项目采用 Apache 2.0 许可证。
开源实验项目 llm-posttrain-lab 基于 Qwen/Qwen2.5-1.5B 全量微调，对比 SFT、DPO、PPO、GRPO 在偏好对齐中的表现，训练栈为 TRL 1.7 + accelerate/DeepSpeed。实验覆盖 helpful 与 math 两条任务线，math 线在全部 1319 条 GSM8K 测试题上评估 pass@1/pass@8 与 KL，并追踪 DPO 训练中 chosen 回答 log-probability 下降等失效模式。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding，使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上，其宏平均达 0.5488，为受评 0.6B 模型中最高，并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏，均值从 0.4813 提升至 0.5488，且模型权重、代码与数据集均已开源。
作者提出 TopKLoRA，一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体，仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中，识别并消融了实现后门所必需且充分的回路，稀疏回路比稠密 LoRA 基线小至多一个数量级，可在不牺牲指令跟随性能的情况下手术式移除恶意能力，并开放了代码。
推荐理由：论文给出可解释稀疏微调方法，并在多个模型上定位并消融后门回路，稀疏回路比稠密 LoRA 小约一个数量级。
论文提出 Frontier-OPD，一种面向多轮智能体的在线策略蒸馏方法，通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图，用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示，其平均自主性能高于所对比的蒸馏基线；在某个 ALFWorld 计时设置下，额外采集成本被更快达到目标成功率所抵消。
一项 arXiv 研究提出保守残差路由方法，用于因子化 Transducer ASR 的纯文本领域自适应：适配后的 predictor 作为基础模型的残差修正，由一个 16k 参数的门控在每个前缀决定采纳程度，关门时完全还原基础模型。在 40 小时会话语料上，两个留出域 WER 从 19.89/20.91 分别降至 16.74/16.21，源域 WER 基本不变（12.90 至 12.93），且无需目标域音频的按域调优。
一项 arXiv 研究提出用伪标签作为 GRPO（Group Relative Policy Optimization）的奖励参考，而非 SFT 的微调目标，以降低半监督 ASR 中的标签噪声传递。在银行领域，基于 Whisper 生成标签时，GRPO 相对 SFT 提升 29.3% 到 56.2% 的相对 WER，且优势在四种 Whisper 尺寸、四个教师模型族、三个领域和四种语言上均成立。SFT 几乎逐字复现 100% 的教师错误，GRPO 仅传递 27%。
GitHub 仓库 enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现代码，探索面向特定领域任务的新型微调方法。其方法在 GLUE 上取得 92.5%（较基线提升 8.3%），在 SuperGLUE 上取得 89.3%（提升 12.5%）。仓库含训练、评估脚本与实验配置，采用 MIT 许可证开源。
一项研究发布巴什基尔语开源资源套件与适配方法系统基准，含 71,567 篇文档、46.9M tokens 的网页语料及三个文本分类标注数据集。实验覆盖 82M-8B 的八种架构，比较全量微调、QLoRA、in-context learning 和持续预训练（CPT）：QLoRA 在二分类上优于编码器微调，YandexGPT-5-Lite-8B 加 CPT 达 macro-F1 0.748，高于 XLM-R 的 0.653 和 mBERT 的 0.650。CPT 效果因模型而异，西里尔 tokeniser 更优，且 LLM 评审无法复现母语者的语言正确性评分，母语评测仍不可少。
该研究在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个单文档 LoRA 适配器，发现开卷分数主要衡量所有适配器共享的阅读行为：随机适配器可恢复专家适配器 82% 的开卷优势，但在不提供原文的 cloze 探针上仅约 2%，与零无法区分。内容确实进入权重——专家适配器在 cloze 召回上超出基线 0.094，但 16 篇以上文档的合并只能恢复 12% 到 16% 的 cloze 优势（联合训练为 94%）。作者还报告了四个会产生看似干净却错误结果的隐性错误。
GitHub 仓库 enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法，用于提升 LLM 在领域特定任务上的表现。该方法在 GLUE 上取得 92.5%（较基线提升 8.3%）、SuperGLUE 上取得 89.3%（提升 12.5%），支持领域适配与高效训练，代码以 MIT 许可开源。
该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案，用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B，面向十种语言的开放式问答（QA-OEG）。在相同解码设置下，目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%；在 Aya Evaluation Suite 评测中，macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性：目标语言的上下文问答及非目标语言的三项任务得分均有下降。
一项 arXiv 研究提出针对 DPO 计算图的随机剪枝统一框架，可独立对评分的响应位置、执行的响应前缀和反向传播的偏好分支进行采样，从而省略训练各阶段的计算。分析刻画了位置与序列剪枝引起的目标变化，并用逆概率加权得到条件无偏的单分支梯度估计器。实验显示分支剪枝相比拼接式 DPO 基线获得 1.426x 步时加速，训练时间较原版 DPO 降低约 30%，均值准确率略降。
研究者提出自动化合成框架 DynaWeave，可将静态任务转化为可验证的动态场景，用 DAG 表示事件依赖并触发外生事件以训练 LLM 智能体。该框架在 36 个环境中收集了 2,095 条经验证的交互轨迹，用于对 Qwen3.5 模型做监督微调。实验显示其在 Gaia2、CostBench 和 ToolMaze 三个基准上均有一致提升，CostBench 任务完成率提高 67.34 个百分点，并在 ToolMaze 上超过 Gemini-3.1-Pro-Preview，代码已开源。
arXiv 论文 arXiv:2610.27711 发现，在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式，原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何，而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow，其上各层高度冗余，截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍，同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3，并在 QNLI 和 SST-2 上重现相同层级结构。
一项 arXiv 研究通过在同一模型族不同规模上进行密集网格实验，系统分析了 DPO 的学习率与正则化参数 β 等超参数随模型规模和更新步数的演化。研究发现最优学习率随模型大小变化、超参数不可跨数据集迁移，且验证损失与下游 benchmark 最优超参数仅弱相关。作者还指出短程候选训练可大幅降低调参成本，并公开了全部训练配置与评测结果。
一项 arXiv 研究跟踪一个 8.4B 参数模型在日文金融文档上历经三个训练阶段的表现，在五个文本输入基准上评估后发现各阶段相互影响呈非加性：纯数学蒸馏会覆盖先前获得的金融知识，领域阶段修复多于新增内容。跳过阶段的消融虽最利于领域知识，却损失数值推理增益，因此最佳 checkpoint 取决于任务本身。
这是一个 MEng 论文的复现包，实证研究 4-bit NF4 QLoRA、8-bit、16-bit bf16 LoRA 三种位宽与 LoRA rank（r ∈ {8, 16, 32}）在微调 deepseek-coder-6.7b-instruct 修复 Java 缺陷时对正确性、GPU 显存、速度和能耗的权衡。实验基于 CodeXGLUE Code Refinement（10,000 训练 / 1,000 验证 / 1,000 测试对）和 HumanEvalFix（164 Python + 164 Java 缺陷），在单张 24 GB GPU 上进行。目前数据管线和指标已验证，训练与评测脚本仍在开发中。
GitHub 仓库 tonystark202609/enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验，探索超越传统方法的高级微调策略和领域适配技术。该方法在 GLUE 上达 92.5%（基线 84.2%，提升 +8.3%），SuperGLUE 上达 89.3%（基线 76.8%，提升 +12.5%），并优化训练流程以加快收敛。项目采用 MIT License 开源，附训练与评测脚本。
该 GitHub 仓库实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的微调方法与实验，面向领域特定任务改进 LLM。其高级微调策略在 GLUE 上取得 92.5%（较基线 84.2% 提升 +8.3%）、在 SuperGLUE 上取得 89.3%（较基线 76.8% 提升 +12.5%），并包含领域适配与加速收敛的训练管线，采用 MIT 许可证开源。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
这是一份大语言模型课程项目书，要求学生用 XED 多语言情绪数据集评估 LLM 的跨语言多标签情绪分类，对比 prompt engineering 与 PEFT 两种适配方法。数据集基于电影字幕，标注 Plutchik 八类情绪，各语言标注行数从马其顿语 300 行到巴西葡萄牙语 12,295 行不等，相差超过 40 倍。项目要求固定 70/20/10 划分、统一实验矩阵，并在英语与指定语言上评测零样本与五样本提示等条件。
GitHub 上有研究者端到端复现了 Wilfrid Laurier University 团队的 FedLLM 论文，用 Qwen2.5-1.5B 结合 LoRA、4-bit QLoRA 与联邦学习做可解释交通流预测，仅训练 18,464,768 个权重（1.18%）。复现结果接近原论文：FedLLM 误差与论文相差 2% 以内，15/30/45/60 分钟预测的 R² 匹配到小数点后三位；复现中 5,000 条测试提示词 RMSE 为 31.84，低于论文的 35.66。仓库包含完整代码、LoRA adapter、合并模型与运行日志，GRU、DCRNN 等基线未在本次发布中运行。
GitHub 仓库 jkhajem/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的高级微调方法，用于将预训练模型适配到特定领域任务。该方法在 GLUE 上取得 92.5%（较基线提升 8.3%）、SuperGLUE 上取得 89.3%（提升 12.5%），并提供优化训练管线以加快收敛，项目采用 MIT License 开源。
GitHub 仓库 enhancing-llms 开源了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码，探索面向领域任务的大语言模型微调方法。该方法在 GLUE 上取得 92.5%（较基线提升 +8.3%）、SuperGLUE 上取得 89.3%（提升 +12.5%），采用 MIT 许可证。
Fabyo Sousa Ramos 的 GenAI/LLM 硕士毕业项目训练了一个面向 5 岁儿童的安全教育助手模型，以 Qwen2.5-3B 为学生模型、Qwen2.5-7B 为教师模型，结合 CoT 合成数据、Logits 知识蒸馏与 DPO 内化安全 guardrails 和儿童化人格。最终模型经 LoRA 权重合并并量化为 GGUF（Q4_K_M）格式，可在资源受限设备上本地离线运行。DPO 训练 1 个 epoch 内 Loss 快速收敛，模型在无 system prompt 测试中也能拒绝恶意或越狱指令。
GitHub 仓库 didi290410-ci/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法，用于提升 LLM 在领域特定任务上的表现。该方法在 GLUE 上取得 92.5%（较基线 +8.3%）、SuperGLUE 上取得 89.3%（较基线 +12.5%）的 SOTA 结果，支持领域自适应与高效训练，采用 MIT License 开源。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
Reddit r/LocalLLaMA 用户提出：前沿实验室不再公开 thinking traces 后，如何为特定任务构建蒸馏数据集。其设想是微调小型 Qwen/Gemma 模型从照片提取 3D 空间坐标：将图片和任务发给前沿模型 API 获取答案，再把问答对交给另一前沿模型生成思维链作为训练数据，并询问是否有更好方法。
arXiv 论文提出 MultiAgent-OPD，将 on-policy distillation 与强化学习结合，端到端联合训练共享参数的 Leader-Searcher-Answerer 多智能体团队。冻结的 Teacher 模型对 Searcher 生成的搜索和摘要 token 打分提供过程监督，Leader 从团队成败学习，Answerer 从候选答案正确性学习。在七个数据集上系统达到 38.68% macro avg@4，超过 Prompted Critic 4.06 个百分点、超过 C-MAS + RL 2.61 个百分点。
arXiv 论文提出 MoEvolve，一个面向 MoE 大语言模型的双向蒸馏框架，通过“先恢复再提升”策略，将激活扩展后的高-k 模型作为更强教师，再把增强后的能力蒸馏回原始低-k 配置并保留推理时的激活预算。该框架在多个 MoE 模型和基准上将初始模型最高提升 22.2 个领域平均分，比同预算 RLVR 基线最高高出 6.5 分，且最终低-k 模型常常超过其激活扩展教师。
研究者提出 TreeOPSD，一个无需 critic 的树感知后验自蒸馏框架，用于长程智能体强化学习。该方法将每轮交互视为树节点，从共享前缀分支备选续写，并将终止奖励递归回传为隐式轮级信用，映射为有界的闭式教师分布。在 Deep Research 设定下，TreeOPSD 使 Qwen3-30B-A3B-Thinking-2507 的平均准确率较 GRPO 提升 4.97 分。
一项 arXiv 研究提出在 Transformer 每个模块训练局部代理网络，通过知识蒸馏预测全局网络输出，使梯度无需存储全部激活值即可独立回传，理论上对深层线性网络精确成立，非线性残差模型中梯度误差有界。该方法在 CIFAR-100 上的 vision transformer 实验中取得优于其他局部算法的准确率/内存权衡，用于小内存预算下微调大语言模型时，比 zeroth-order 学习算法训练更快、性能更高。