arXiv 论文 Nautil:训练 LLM 调查员学会何时结案
论文研究 LLM 调查员能否正确判断证据是否足以结案,提出含 731 个审计案例的 Nautil 数据集及三项结案评估测试。
推荐理由:原文给出了未训练 9B 模型 97% 过度断言到微调后 35% 的前后对比,可据此评估结案判断这一能力的可训练性。
内容形态
论文与技术报告:对齐机制、人格可控性、评测方法与能力边界的新发现。
465 条精选近 30 天 465 条共收录 3,561 条
论文研究 LLM 调查员能否正确判断证据是否足以结案,提出含 731 个审计案例的 Nautil 数据集及三项结案评估测试。
推荐理由:原文给出了未训练 9B 模型 97% 过度断言到微调后 35% 的前后对比,可据此评估结案判断这一能力的可训练性。
arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏(OPD)为何有时提升性能、有时坍缩为过长且重复的生成:教师隐式奖励学生行为,即使教师自身很少表现出这些行为。
推荐理由:论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩,并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。
论文提出 MintEval 基准,通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现,在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。
推荐理由:原文用逐 bar 行为对比衡量代码是否忠实执行交易策略,给出了前沿模型仍存在静默失败的具体比例。
论文提出 HARPO 强化学习框架,用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力,仅对无幻觉输出激活写作奖励,并通过课程从创作任务渐进过渡到幻觉任务。
推荐理由:论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据,可评估该框架的实际收益。
ServiceNow CoreAI 发布 AutoSynthData,用目标模型的失败和更强教师模型的成功来定位能力缺口,生成经环境验证的合成训练任务用于 SFT。在 EnterpriseOps Gym Hybrid 域用 Gemma-4-26B-A4B-it 配 Qwen3.8-27B 教师生成 2000 样本,Pass@1 相对提升 35%;在 ITSM 域配 DeepSeek-V4.1-Flash 教师生成 1994 样本,Pass@1 从 18.77% 升至 27.18%。
推荐理由:原文给出从模型失败生成可验证训练任务的完整流程和两组实验数据,方法细节可以直接迁移到企业智能体的数据构造。