新闻、仓库与研究，按时间排列。
论文提出 Selective Rank-Preserving SFT（SRP-SFT），用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系，并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中，三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT；种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%，四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。
推荐理由：论文给出 SRP-SFT 的可行域刻画与多种子实验数据，读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。
论文提出 Interlock 框架，将任务表示为类型化完成图，通过 grounding 边、coupling 超边和 realization 边刻画证据、决策与下游效果间的关系，并编译为可重置工作区、公开请求与评测 rubric。在两个 Qwen3.6 backbone 上用自产轨迹微调后，AutomationBench 任务通过率提升 4.00-4.50 个百分点，JobBench 加权分提升 3.20-6.64 分，Harvey LAB 准则通过率提升 3.89-4.16 个百分点。
研究提出在低资源机器翻译中用回译（BT）利用单语数据：微调后的 LLM 翻译单语句子生成平行对，再反向训练并与平行集更新交错进行。仅用 1K 平行对，Odia 和 Swahili 上 BT 比继续预训练高 7.7 至 16.4 XCOMET-XXL 分；五个低资源语言上比仅平行数据微调提升 16 至 173%，Odia 和梵语的人工盲评与自动指标一致。
论文提出 SeTPO（Selective Teacher guided Policy Optimization），通过逆向 KL 的 token 级教师反馈与正向 KL 持续监督，解决小语言模型在强化学习工具使用探索不足与师生行为分布失配问题。理论上证明最优策略期望奖励不低于教师并保留部分教师概率质量，在 BFCL v4 与 API Bank 上超越 SFT、强化学习和蒸馏基线。
该研究提出oracle引导微调方法，让LLM通过三个数据池学习"选择或改写"策略来后编辑ASR转录：corrections池教选择、regularizers池抑制不必要改写、hard negatives池压制幻觉。在私有数据集上约3B参数起效果明显优于随机子集微调，但CommonVoice上的结果不够确定，作者认为公开朗读语音文本可能与LLM预训练数据重叠、掩盖真实收益。
研究者基于 Qwen3.5 骨干的 9B 参数决策模型 Clef-Flash，用 QLoRA 微调在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 准确率、macro F1 0.9551，超过 ClinicalBERT 的 90.90%。单次前向推理每条记录耗时不足 80 毫秒，报告称较生成式 LLM 基线提速 31 倍。其提出的 Leave-One-Symptom-Out 反事实扰动框架可揭示症状级证据。
Tejas Vaidhya 在 arXiv 论文中提出 Tab-Loop，将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环应用 k 次，其余编码器、解码器、合成先验和训练配方不变。在相同预训练算力 18.2 EFLOP 与相同推理算力下，参数量从 27.6M 降到 10.4M，held-out log loss 0.4583 对 0.4588，200 个 TALENT 数据集平均准确率 84.10% 对 83.92%，38 个 TabArena 数据集 Elo 1409 对 1396。由于权重共享，深度可在推理时选择，在训练范围内增加循环次数可提升精度且超出范围仍成立，用更深的循环继续训练可在 4–5 倍推理算力下达到基线 stage-2 成绩。
推荐理由：论文在相同预训练与推理算力下对比权重共享与独立参数，给出参数量、精度和 Elo 的具体数字，可迁移到 ICL 模型的参数效率设计。
Vela 框架将 100,000 名用户的匿名真实行为数据转化为 91 类真实任务模板、共 100,000 个任务，经难度过滤后保留约 75,000 个任务及其训练轨迹。基于这些轨迹微调 Qwen3.6-35B-A3B，用户相关任务较基础模型最高提升 11.5 分，通用基准平均提升 4 分；微调后再做强化学习比直接从基础模型强化学习最高多 7.7 分。
Lingdan-V2 是 4B、8B、14B 参数的中医大语言模型家族，采用持续预训练、推理监督与以方剂为核心的强化学习对齐框架，用于中医临床决策支持和方剂推荐。在含 25,620 条专家核验条目的公开基准上，14B 强化对齐模型方剂生成 F1 达 37.0，超过总参数 671B 的 DeepSeek-R1 的 32.3；在 4,348 例脾胃病回顾性临床数据集上 F1 为 52.8，剂量一致性提升。
研究者将心理语言学理论 Uniform Information Density 引入大语言模型偏好优化，提出 UIDPO 算法，通过全局标准差与局部二阶差分组合度量信息均匀度并纳入优化目标。与此前 SOTA 方法 SimPO 相比，UIDPO 在 AlpacaEval2、ArenaHard 和 MT-Bench 上取得相当或更优的表现，代码仓库已开源。
论文提出 Reward-Aligned Distillation（RAD），一种双层框架，通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下，RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B（non-thinking）6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点；在 LiveCodeBench-v6 上，Qwen3-1.7B（non-thinking）与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1，超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
arXiv 论文提出 Q-NeuS，一种查询自适应的 LLM 神经元调控框架，根据每个输入动态决定调控哪些神经元及调控幅度。该框架构建主题引导的候选神经元空间，用 Query-Adaptive Gate 生成逐神经元调制系数，并通过 Neu-GRPO 基于多种干预配置的相对表现训练。基座 LLM 全程冻结，推理时无需任务或主题标签，实验显示其在多模型与 benchmark 上均有一致提升并具跨 benchmark 迁移性。
arXiv 论文研究发现，on-policy 自蒸馏中基于参考答案打分的教师信号既不能定位推理错误，也不能可靠区分正误 rollout。论文提出批评条件化自蒸馏：先让教师生成批评，再据此打分，产生的信号能定位错误并使概率转向"Wait""But"等回溯 token。该批评在测试时能解出原本无法解出的数学题，并在冷启动 GRPO 中为可验证奖励无法提供信号的问题提供优势信号。
CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。
一项研究提出“先验壁垒”概念，用以量化预训练大语言模型（LLM）对竞争概念与目标概念的支持差异，并发现其呈长尾分布。基于此，研究提出自适应 SFT 指令选择方法 PASS，在有限预算下优先覆盖监督不足的概念。实验显示 PASS 在四组 backbone-budget 设置上持续优于七种 SOTA 指令选择方法。
论文提出 SGUID 方法，用于在技能蒸馏前筛选紧凑技能子集，发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上，仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏；第二轮循环为 Qwen3-8B 新选 3 个技能，将其成绩从 64.3% 提升到 66.3%，而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点，SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接：https://arxiv.org/abs/2610.12367v1
研究者提出 Layer-Selective LoRA（LS-LoRA），将可训练 LoRA 适配器只放在输入-输出相似度较低的 Transformer 层，该相似度可作为经验 Fisher 信息的前向代理指标。在数学推理和代码生成实验中，LS-LoRA 相比全层 LoRA 提升了目标任务平均性能，同时保留更多常识推理能力。
研究者提出 Residual Advantage（RA），将师生概率残差视为有界单步奖励，并结合 GRPO 或 REINFORCE++ 改进 RLVR 训练。在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 学生搭配 Qwen3-8B 教师的实验中，RA 在三个数学 benchmark 的全部 24 组对比中均优于基础序列优势算法，macro Avg@8 提升 1.7–3.6 点，Pass@8 提升 3.9–6.3 点。其 CoRA 变体进一步带来 1.0–1.5 Avg@8 点提升，两种组合均超越仅用教师的 OPD。
arXiv 论文提出 Elastic Expert Routing，通过在以 k 为中心的局部离散分布中随机采样激活专家数，将静态 top-k 路由的硬阈值软化为渐进概率分布，并保持推理算力预算不变。在监督微调中，该方法使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均分别提升 +0.84 和 +2.02 分；从头预训练时平均比静态 top-k 基线高 1.6 分。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
用户 Iqk 在 Hugging Face 发布基于 unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit 微调的模型 NOVA-Ai-Uncensored，采用 apache-2.0 许可证。该模型通过 Unsloth 训练，训练速度提升 2x，可通过 Transformers 库加载使用，并已上传至 Google Colab、Kaggle 等平台。
ogies99 在 Hugging Face 上传了微调模型 Gemma-3-Uncensored_v2，基于 unsloth/gemma-3-4b-it-unsloth-bnb-4bit 微调，采用 apache-2.0 许可证。该 Gemma3 模型使用 Unsloth 训练，速度提升 2x。
研究者提出后微调防御方法 SLDR，基于选择性层恢复与动态路由，仅在敏感度最高和最低的层上训练 LoRA 恢复适配器，并通过基于表示的动态路由只对恶意查询激活适配器。在 4 种模型架构、5 个下游任务和 4 个有害基准上，SLDR 在 Llama3.1/SST2 上将平均有害分数从 11.54 降至 0.08，投毒比例高达 0.9 时有害分数仍接近零，且保持下游准确率。代码已开源。
Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model，用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示，泛化窄度与训练情境人格和默认人格的相似度正相关（Pearson's r = 0.72）；在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization（PPR），在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%，同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1
推荐理由：论文用 120 个微调模型的数据解释行为为何跨情境泛化，并给出能将 reward hacking 压到 0.2% 的正则化方法。
研究者提出 CHASE（Channel-Aligned Structure Exploitation），利用几何与谱对齐（GSA）刻画的结构开展模型修改、重构与压缩，共覆盖六项应用。其中 CORA、COEC、CORAM 分别用于参数高效微调、结构化剪枝补偿和模型合并，新方法 CAGA 通过多头注意力共享 KV 表示改进 MHA-to-GQA 转换，SAKV 与 CAPS 分别在 KV-cache 压缩和结构化剪枝上优于代表性基线。结果表明 GSA 识别的结构可直接用于多种模型操作的方法设计。
Tianle Wang 等在 arXiv 发布论文，提出 Step-Aligned Privileged Distillation（SAPD），一种免 rollout 的自蒸馏方法，将示范解法转化为步对齐的分布性监督。在数学推理基准上平均优于 SFT 和标签平滑，与 on-policy 强化学习和自蒸馏相当，同时大体保持域外编码性能，训练循环较 on-policy 基线提速约 2x。代码已开源。
Jonghyun Han 在 arXiv 发布论文，发现持续预训练和微调中的灾难性遗忘集中在语料中罕见出现的 token 的输出嵌入，由 Adam 二阶矩归一化放大单侧 softmax 梯度所致。提出仅对输出投影提高 Adam epsilon 的干预，在 160M 到 12B 参数、四个模型族的八个设置中消除 39.4% 到 67.9% 的遗忘且不损害目标学习，与 replay 叠加后在 Qwen/Korean 上达到 79.8%，但事后编辑漂移行只能恢复不到 5%，因此必须在训练期间施加干预。
推荐理由：论文把灾难性遗忘定位于低频词的输出嵌入，并给出仅调 Adam epsilon 的单行干预及其跨 8 个设置的验证数据。
基于 Qwen3.5-4B 的社区对话/角色扮演微调模型在 Hugging Face 发布，提供 ~3.5 GB 的 Q6_K GGUF 量化文件，支持 llama.cpp、LM Studio 和 Ollama。模型用 Unsloth QLoRA（rank 16、alpha 32）在 AMD RX 6700 XT 上训练，数据集约 11,400 行对话，最终 train loss 约 0.92，上下文最长 2048 token。另有 ~672 MB 的 F16 视觉投影文件，仅图像输入时需要。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
开发者 doss1232 在 Hugging Face 上传了基于 unsloth/Qwen3.5-9B 微调的 uncensored_qwen3.5_9B 模型，采用 apache-2.0 许可证，训练过程借助 Unsloth 实现 2 倍加速。该模型已有 185 个微调衍生版本。
CoDe-LoRA 是一种免回放的大语言模型持续学习方法，用于解决 O-LoRA 等正交投影方法因严格参数隔离导致跨任务知识难以迁移积累的“正交困境”。该方法将学习拆解为巩固通用知识与解耦任务特定知识，借助自适应零空间投影和语义路由实现平衡。在 4 个骨干模型和 3 个持续学习基准上取得最佳平均准确率，代码已开源。
arXiv:2610.08718 研究微调中语言模型的伪遗忘（spurious forgetting），发现被遗忘的旧知识往往仍存储在模型中且可恢复。作者用最小联想记忆模型复现遗忘动态，指出其依赖共享结构的键、集中新值和网络归一化三个要素：微调使旧表示沿共同方向整体移动，暂时隐藏旧事实但保留其相对几何；新数据只把旧记忆一起移动时遗忘可逆，逐事实改变累积时才造成永久侵蚀。实验显示减去共同位移可消除 Transformer 的崩溃，从权重更新中移除单一方向可在预训练语言模型中恢复旧事实。
推荐理由：论文把微调遗忘拆成可逆的共同位移和不可逆的个体侵蚀两部分，并给出恢复旧知识的干预方法。
MemFLoRA 是一种以“激活记忆下限”准则为核心的低秩 CNN 适配器，冻结下投影、训练尺度匹配的上投影，使反向计算不依赖全宽层输入。在 3 个 HAR 数据集和 2 个 CNN 主干上，相比全量微调，其节省激活内存降低 98.5-98.7%，峰值训练状态内存降低 94.9-97.3%，且持平或超过 CNN PEFT 基线。该论文已被 ASP-DAC 2027 接收。
研究者提出 Sherpa，一个多轮强化学习框架，通过实例化多种学生原型并直接最大化其学习成果来训练教师模型。经 Sherpa 训练的教师 LLM 使被指导学生的成绩平均提升 20.5 个百分点，在 MathTutorBench 上的整体教学评分从 52.5% 升至 79.2%。人类评估中，训练后的教师在 79.6% 的成对比较中优于基础模型。
研究者提出 TRACE，一个面向 MoE 语言模型 RL 训练的 FP4 量化框架，用 rollout 侧量化结果引导训练侧 FP4 舍入决策，直接缩小训练与 rollout 两条量化路径的差异。它还采用选择性保留尾数与 scale 信息的量化缓存方案以降低存储和通信开销。在四个大规模 MoE 模型的推理、编码和长程 RL 任务上，TRACE 实现 FP4 权重/激活与 FP4 KV-cache 联合 rollout，RL 性能与 BF16 rollout 相当，rollout 最高加速 5.4x，最终 FP4 性能优于 BF16 训练策略的事后 FP4 量化。
研究者提出 DyPAM（Dynamic Positional Attention Modulation），一种参数高效微调（PEFT）方法，通过在 query 和 key 表示上进行输入条件化、维度级调制，并结合 head 级与 layer 级结构调制，对 RoPE 引入的位置注意力做细粒度适配，且不修改预训练骨干。在多个骨干模型的数学与常识推理 benchmark 上，DyPAM 持续超越现有强 PEFT 基线，论文已被 KDD 2026 接收。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版，用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调，称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6，KL 散度 0.0793；ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数，视觉输入经测试可用，视频部分未测试。建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化，默认上下文 256k，其他版本仍在测试中。
推荐理由：作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据，读者可以据此自行判断这个去对齐微调版的质量。
minas2025 基于 sh0ck0r/Qwen3.5-0.8B-heretic 用 QLoRA（4-bit）微调出 Qwen-3.5-0.8B-Uncensored-Conversational，使用含 11,400 条温暖对话数据的 minas2025/warm-chat-12k 数据集，让 0.8B 模型以热情、口语化风格聊天且无拒绝回答。模型提供 Q8_0 GGUF（约 812 MB），上下文 2048，可在 LM Studio、Ollama、llama.cpp 中加载。
论文首次系统分析 NorMuon 自适应机制的来源，发现其自适应性主要源于正交化诱导的几何结构而非真正的优化信息，并提出“正交化—自适应性悖论”。基于此提出 DGA-Muon 优化器，将自适应缩放与正交化解耦、直接由原始梯度计算缩放因子，并按矩阵形状采用行/列缩放对齐极分解因子的几何结构，给出收敛性保证，实验显示其优于 NorMuon。
该 arXiv 论文将 LoRA 谱变体中的“冻结哪个因子”与“选哪个奇异方向带”两个选择解耦，发现 rank 2 时冻结输入因子 A 的同带优势大于带间差异，冻结 B 在五个任务对上比同等预算的自由 LoRA 低 8-18 个百分点。