新闻、仓库与研究，按时间排列。
研究者提出分层信用分配方法 HarA，改进 GRPO 等基于分组的 RLVR 方法对所有 token 赋予相同优势的问题。HarA 将 rollout 表示为隐状态和 token 位置的分布，用 Fused Gromov-Wasserstein（FGW）重心度量推理行为的语义新颖性，并引入 anchor 引导的线性化，使其可通过 Sinkhorn 算法高效求解。在三种分组 RLVR 方法上的即插即用实验显示，HarA 有效增强 LLM 探索，在多个推理基准上超越现有方法。
论文提出 Bidirectional Preference Synthesis（BPS），一种用于标准 DPO 的数据构造方法，为每个验证过的边界失败在原始提示下保留正向偏好对，并在合成的达成提示下增加反向对，使同一回复在错处被拒、在对处被选，无需改动 DPO 目标、训练奖励模型或在线采样。在 Qwen3-4B-Instruct-2507 上，BPS 保持原始侧成对排序的同时，把留出交叉锚点上的达成侧排序准确率从 6.8% 提升到 62.3%，在 Kimi-K2.6 跨教师探测下有类似变化，下游评测显示在多语言多轮指令遵循上与 Forward-DPO 分离最明显。论文共 18 页，链接 https://arxiv.org/abs/2610.04328v1。
Ai2 开源了基于 Qwen3-8B 的科研报告生成模型 AstaBrief 8B 及训练数据，模型可将研究问题和检索到的文献片段转化为带引用的报告，已在 Asta 平台作为 Fast mode 上线。
推荐理由：官方完整披露了 SFT 与 DPO 数据构建、引用密度过滤和评测细节，读者可复用其数据质量过滤方法。
arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏（OPD）为何有时提升性能、有时坍缩为过长且重复的生成：教师隐式奖励学生行为，即使教师自身很少表现出这些行为。
推荐理由：论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩，并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。
一项 arXiv cs.CL 研究针对仅凭少量摘要样本适配大语言模型作者风格的问题，提出对比激活 steering、预测 steering 向量网络和预测 LoRA 适配器的 hypernetwork 三种方法。