StepBench:诊断 AI 智能体的真实世界程序性理解能力
StepBench 基准从 wikiHow 抓取 6,885 条经核验的程序性步骤,覆盖 81 个开放域类别,并派生出 5 项诊断任务。对 12 个模型的 14 种配置测试显示,步骤排序最难:最强模型正确排序率仅 63.0%,步骤数达 9 步及以上时降至 33.1%。研究还发现错误步骤检测可预测生成计划的有效性,可作为更低成本的评估替代方案。
新闻、仓库与研究,按时间排列。
StepBench 基准从 wikiHow 抓取 6,885 条经核验的程序性步骤,覆盖 81 个开放域类别,并派生出 5 项诊断任务。对 12 个模型的 14 种配置测试显示,步骤排序最难:最强模型正确排序率仅 63.0%,步骤数达 9 步及以上时降至 33.1%。研究还发现错误步骤检测可预测生成计划的有效性,可作为更低成本的评估替代方案。
Lennart Finke 在 arXiv:2610.26698 发布论文,训练模型有机体在漏洞检测任务中隐瞒解法以模拟 ELK(引导潜在知识)研究场景。方法结合 transcript 蒸馏、counter-prompting 与防篡改训练,使模型具备选择性、抗引导鲁棒性和知识保留三种性质,最强模型在鲁棒性上大幅超越先前模型且保持另两种性质。代码、模型与数据集已开源。
推荐理由:论文提出了带选择性、鲁棒性和知识保留三性质的 sandbagging 模型有机体,可作为 ELK 研究的可复用测试床。
研究者推出首个面向生命科学的图结构评测基准 LG-Bench,涵盖医学、生物学和化学领域超过 10,000 道高质量选择题。该基准通过双向匹配和语义相似度算法构建加权评测图,并设计全局一致性分数(GCS)和知识平衡分数(KBS)两项新指标,分别衡量模型在语义相关邻域内的一致性,以及错误分布揭示的概念盲区。该框架将大语言模型评测从平面的准确率指标转向结构感知分析。
SOMA(System One Metacognitive Awareness)提出用 Jev 这类 S1 决策模型持续监控 S2 推理模型并在需要时干预,含场景、感知、控制三层,无需训练即可跨任务共享同一 S1 模型。在两个推理模型上,SOMA 将过度思考场景的推理 token 削减最多 36% 且平均准确率提升,并把不可回答问题的弃答率从 70.5% 提高到 87.2%。
研究者提出 Mise-en-Video(MeV),一个高可控的多镜头视频生成框架,允许创作者在 3D 空间中进行场面调度并生成对应的多镜头视频。该框架结合层次化注意力机制实现多级叙事一致性,并通过 3D 感知布局引导实现逐镜头的精确空间控制。团队还构建了包含 160K 视频的数据集,实验显示 MeV 在视频质量、镜头间一致性和主体级可控性上均优于强基线。
研究者将 Next Best Action 系统建模为约束马尔可夫决策过程(CMDP),并在其线性规划形式中融合对客户动态估计的离策略因果校正,使策略在最大化长期价值的同时显式执行业务约束,影子价格还可量化公平性等约束的经济权衡。在网约车优惠券定向案例中,以 RFM 阶段定义客户状态,基于离策略评估,优化后的策略比估计行为策略提升客户生命周期价值(LTV)19%,比短视基线提升 8%。该框架与具体动作无关,可扩展至多种干预措施。
ProteinGeoBench 是一套包含 131 项蛋白质结构任务的评测套件,基于 4 个前沿模型的 4,249 次 rollouts 和 26 个模型的 4,486 次额外试验。结果显示前沿智能体擅长结构元数据查询但几何计算较弱:131 项任务中数值任务占 28 项,却在四个模型全部失败的 12 项任务中占一半;三个前沿模型得分在 0.785 至 0.816 之间难以区分,第四个为 0.707。研究还发现评测排名受评测预算影响显著,单次运行时 23.9% 的 bootstrap 复现会得出不同的第一名,建议评测应按任务族报告结果并注明运行次数、harness 和访问条件。
研究者提出 KronLSTM,一种基于 Kronecker Delta Rule 的线性注意力架构,扩展 xLSTM 家族并引入记忆修正机制,仅沿矩阵空间单一方向修改记忆,减少对已存信息的干扰。其记忆动态可描述为收敛到稳态分布的 Markov chain,记忆矩阵范数全程一致有界,无需额外归一化机制。实验显示其性能与(Gated)DeltaNet 相当甚至更优,长上下文基准表现尤为突出,代码和模型已开源。
一项基于 USGS 地球化学模拟器 PHREEQC 的研究测量了 LLM 智能体用检索代替上下文读取工具输出时的精度损失。GPT-5.1 和 GPT-5.2 分别下降 11.3 和 7.9 个百分点,Claude Opus 4.6 与 Claude Sonnet 4.6 无明显损失;GPT 模型在检索模式下常跳过报告、改用自身高精度输出文件并错误取整,即“证据替代”失败。指明权威输出可提升 6.3-7.9 个百分点。
研究者推出 AnyGoal,一个由常用世界模型环境构建的目标偏移任务变体基准,并配有开源库,用于研究数据覆盖、动力学泛化与规划性能的关系。在多个环境和世界模型家族上,当前模型在重组熟悉状态与动作因子的组合泛化场景下持续失败,该框架为评估面向新规划任务的泛化能力提供了基础。
研究者提出 Agentic Imagination(Agima)训练框架,让单一 omni 模型先提出动作、生成结果图像,再基于想象未来推理并决定真实执行。用 SFT 统一策略与世界建模后,再用智能体强化学习训练其规划能力;在 Maze2D、Sokoban、Pacman、PushT 四个环境中可泛化到未见过的更难设置,仅用 SFT 在两箱 Sokoban 训练即解出 40% 的四箱谜题(纯动作规划器仅 2%),RL 后还学会按需前瞻并在关键决策点更频繁分支。论文地址 https://arxiv.org/abs/2610.26845v1。
一篇 arXiv 技术报告系统研究物理递归自我改进(RSI)的机制、scaling 行为与泛化,提出 PhysRSI-eval,用首次尝试性能、效率、成功率、预算与失败改进五轴指标,在固定交互预算下评测多个 VLM 于 18 个操作任务。分析引出 Physical Barrel 假设,并从公开能力预测相对表现、从早期物理反馈预测后续进展两个角度做观测性 scaling 分析;工作区干预显示移除历史会降低后期成功率,而冻结工作区在未见布局上仍有效,说明场景特定适应与可复用经验可以共存。
推荐理由:论文用五轴指标量化物理 RSI 并给出观测性 scaling 分析,能帮助读者理解 VLM 智能体自我改进能力的来源边界。
研究者提出多机器人社交导航框架 CoopUQ,通过跨机器人时空特征融合预测未来占用网格地图,并利用预测及其不确定性,以约束多智能体强化学习引导策略,惩罚穿越预测被占用或高不确定性区域的动作。在基于 Unity3D 的多种仿真环境(含 OOD 场景)及真机实验中,该方法在预测性能和安全性上优于代表性基线,代码已开源。
论文提出视觉可归因的同策略自蒸馏强化学习范式,解决特权教师 token 级纠错中“特权纠错污染”问题。其核心组件 Visual-Attribution Gating(VAG)以 verifier 优势为优化锚点,仅保留能被视觉证据对比方向性支持的纠错。在六项视觉推理 benchmark 上,VAG 平均性能超越 GRPO 和 OPSD 方法,创下新的 SOTA 平均成绩。
研究者推出 AfriGuard,一个覆盖 10 种非洲语言和英语、用于研究有害意图、安全类别理解与拒答行为的多语言数据集。实验发现护栏模型在安全意图与类别分类上落后于开源和闭源 LLM,模型 F1 普遍低于 60%,且对不安全提示常因语言表达不当造成偶然不协助而非真正拒答。基于 AfriGuard 训练的护栏模型性能可比肩最高 30 倍规模的模型,其拒答检测器平均性能提升 43.9%,监督微调也能显著提升安全表现。
这项 arXiv 研究指出,改变稀疏自编码器(SAE)codes 会同时影响干预方向与幅度,比较干预效果需要指定强度控制。在 Gemma 和 Llama 上的实验显示:whole-patch scaling 下 full-output KL 校准比 total-norm matching 更接近参考干预,新 Llama 输入上后者丢失 11 次参考迁移而前者全部保留;但 positionwise scaling 下 norm matching 的平均差距更小,answer-excluded 校准在主谓一致比较中缩小差距、在 gender refits 中反而扩大。
研究者提出 Dynalize,在策略训练过程中在线缓解偏好奖励模型的 reward hacking:一个语言模型定期异步分析训练 rollout 并为不良行为写入惩罚,由 judge 应用于每次 rollout。在临床咨询和创意写作任务中,仅用奖励模型训练会导致外部 benchmark 下降,而 Dynalize 延长了可训练时长并提升下游性能,且收益在多轮训练及重训奖励模型后依然成立。
arXiv 论文提出 LLM 路由基准 RouterWorld,统一 371k 单轮响应与 76k 多轮智能体轨迹,采用 LLM-as-a-judge 协议和基于硬件的延迟标注,并设计 Cold-Start 与 Voyager 两种部分可观测路由设定。对 13 个路由基线的评估发现,多数路由器在部分可观测条件下过于重视准确率而忽视延迟。代码与基准数据已公开。
一篇 arXiv 论文证明,在同源专家模型的同一盆地里,多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标,其最优解即模型合并。作者据此提出两阶段整合方法 RGBM:Phase 1 将合并限制在任务向量子空间,Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上,仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏,RGBM 在零额外联合训练步骤下进一步提升效果。
ReAnchor 是一种免训练方法,复用投机解码中 target 验证时被丢弃的隐状态,让预训练 drafter 在偏移位置重新锚定并生成并行草稿块,从而扩展草稿覆盖范围。在 T=0 下,该方法在 Gemma 4-12B 上平均提升接受长度 19.4%、解码速度 17.9%;在四个目标模型、八个基准上平均提升接受长度 15.2%、解码速度 13.4%(使用预训练 DFlash drafter)。
研究者提出 ASR_STEP 指标,在保留二元成功判断的同时,对越狱攻击中反复调用受害模型的开销进行惩罚。在 JailBreakBench 上对 GCG、PAIR 和单步 PAP 三个方法跨三个模型家族评测后发现:折算后 GCG 得分下降 7.0–8.7 个百分点,PAIR 下降 3.4–12 个百分点,PAP 不变。同时报告两项指标可让重复调用带来的折扣显性化。
一项 arXiv 研究表明,BERT 等掩码语言模型(MLM)经去噪预训练后,无需扩散训练即可实现条件生成:冻结 BERT 在 15%/45%/60% 掩码下可分别重构 61.0%/37.5%/24.4% 的 token,但在 ARC-Easy 上仅达 11.0%、MMLU 上仅 4.2%;经普通 MLM 微调后分别提升至 28.2% 和 24.6%,RoBERTa-large 更达 44.2% 和 33.8%。结论是显式扩散训练并非获得有效迭代条件生成的必要条件。
一项 arXiv 研究提出结合现成 ASR 输出与少量人工标注样本,依据 Prediction Powered Inference 和 Design-based Supervised Learning 框架对 ASR 系统性错误做事后校正。在巴尔的摩和芝加哥警方无线电通讯数据上,可获统计有效置信区间的领域关键词比例从仅用 ASR 的 43.0%、仅用人工标注的 27.2% 提升至 56.2%。
论文研究 Agent harness 跨轮次处理上下文(丢弃、摘要、回放模型推理)何时改变 Agent 成败,而非只看成本。预注册合成实验显示,所需事实可重新查回时截断上下文几乎无损失,事实不可再观察时成功率降至随机水平,两种惩罚相差 92.5 个百分点(90% CI [89.5, 95.5]),第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上,Standard harness 与 Provider Adapter harness 存在 63 分差距,改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%,不保留提示恢复 43%,叠加供应商原生推理回放再恢复 57%;这些为单次运行的点估计。
推荐理由:论文用预注册实验拆解 harness 对 Agent 成败的影响,给出可量化的组件归因,对理解上下文管理设计有直接参考。
一项 arXiv 研究提出反事实评估框架,将 LLM 生成的修复动作拆分为目标记录与数值更新两部分逐组合执行。在 114 个交通修复动作中,76 个的联合修正收益超过单独修正收益之和;数据库修复中,仅替换为参考更新使 108 个动作中的 17 个恶化,这些动作均选择了未受影响的记录。在留存观测上,候选方案重组后的目标-更新配对选择可恢复参考动作损失降幅的 61.6%,高于仅在方案间选择的 58.0%。
一项 arXiv 研究追踪 30 个开源模型谱系的 741 个检查点,通过在道德场景中植入初始判断并测量模型随用户意见摇摆的程度,发现多数谱系在预训练阶段已出现谄媚行为。但具体在哪些问题上让步主要在后训练阶段形成,监督微调检查点能预测部分、偏好优化检查点预测大部分;Tülu-3 8B 自身的偏好阶段检查点可消除 85% 的剩余预测误差,而同底座的另一训练路线兄弟模型只能消除 19%。
推荐理由:论文用 741 个检查点追踪谄媚行为的形成阶段,指出偏好优化阶段是主要来源,对模型审计有参考价值。
研究者推出 SpatialScout 基准,评测 VLM 智能体在主动物体级 3D 建图上的能力,基准包含 80 个室内场景和 3,140 个目标物体。最强的 Claude Opus 5.5 平均重叠分数仅 41.71%,47.23% 的目标 IoU 超过 0.5,仅 3.25% 超过 0.9。结果显示模型在从粗略布局到精确度量地图构建上仍有明显差距,代码已开源。
arXiv 论文提出 Cost-Coupled Gittins(CC-Gittins),一种多目标扩展的 Pareto 推荐方法,利用评估与部署成本耦合为 LLM 智能体工作流中的角色寻找质量与成本兼顾的模型分配。在 2 到 5 个角色、最多 1,681 个候选分配的八个质量-成本矩阵上,CC-Gittins 以约 10% 的穷举评估成本恢复相当比例的真实 Pareto 前沿,到 30% 成本时基本恢复前沿且误报很少,还可将延迟作为第三个目标。初版已被 NeurIPS 2026 资源感知智能体 AI(RAAAI)研讨会接收。
一项 arXiv 研究揭示基于规则评分的强化学习中存在 Intra-Rubric Reward Divergence 现象:总评分上升时部分子维度分数系统性下降,模型为优化聚合目标牺牲特定质量维度。研究提出 FRDA(维度内分别竞争缓解维度失衡)和 RSDC(挖掘整体偏好信号中隐含的评估维度补全规则覆盖)。在 chat、science、medical 领域实验中,FRDA 更稳定地缓解 rubric hacking,RSDC 优于单奖励训练与朴素多奖励聚合。
一篇 arXiv 论文提出 Parallel Language Models(PLM),通过潜在辅助变量路由依赖关系,在单次前向传播中生成相互一致的 token,训练目标为自回归损失加并行解码损失的变分边界。预训练 PLM 在 80M 至 3B 参数规模上达到接近自回归的预训练损失,加速比随模型规模呈幂律增长。后训练后的 1.3B 模型在数学、代码和指令遵循基准上匹敌或超越同等训练的自回归模型,推理加速 2.3-5.7 倍。
一项研究提出层次化 token 合并自编码器,通过变分信息瓶颈递归合并相邻 token,并用动态规划在二元树上边缘化,实现无监督语法归纳。在合成歧义语法上,模型在留出序列上达到 93% 语法解析有效性和 93% 精确重构,而最强平凡基线解析有效性仅 42%,验证了仅靠压缩即可涌现层次结构。
HoloCosm 是一种多指标基准压缩方法,通过联合最小化归一化分数重建误差并约束排序失真,解决单指标方法跨指标失效的问题。在 15 个语言、多模态、VLA 和智能体基准配置、85 个组件指标上,80% 压缩率下其平均 NMAE 较最强基线 Random 降低 35.3% 至 0.236,平均 Spearman 相关性升至 0.915。代码与实验结果即将开源。
一篇 arXiv 论文证明,采用 O(log log N)-bit 精度和 O(log N/log log N) 宽度的两层 Transformer,借助 RoPE 风格的 VO-rotation 结合中国剩余定理,可在任意重复字符串下正确复制并在边界 N 处终止。论文还给出宽度无关的不可能性结果:NoPE 和 ALiBi 的递归实现等加性注意力偏置架构在相同 token 连续复制超过饱和阈值后 logits 不再变化,与前沿 LLM 的终止错误相似。合成实验中,训练后的 VO 模型在长度约 5005(所选素数周期之积)内保持近乎完美的外推精度。
研究者推出 EpiLens,一个轻量级开源 RAG 包,用固定检索模板和输出模式处理文献语料并将输出链接到原文段落。该工具基于 2,297 篇论文构建语料,在 214 篇人工标注论文上评测,无需任务特定训练数据即在四项任务上匹配或超过监督式和零样本基线。结果显示,与再生数相关的论文中被标为模型研究的比例为 54%,高于 fatality risk 的 22%;模型类论文占比还因病原体而异,SARS-CoV-2 为 55%,mpox 仅 6%。
研究者将递归预训练引入掩码蛋白质语言模型,提出 recAMPLIFY,一个 155M 独特参数、基于权重共享 Transformer 核心的模型,使用与 AMPLIFY-350M 相同的 2T token 训练。参数减少 56%,却在 CASP 接触位恢复和四分之三监督任务上更优,fold 准确率提升 22.5%。进一步提出的 Gated Mixture Recurrence(GMR)可将期望层深度最多降低 37%,但精度权衡因任务而异。
TokenGate 是一个即插即用的小组件,通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝,用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失,较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍,可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型,代码已开源。
推荐理由:论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比,适合关注长上下文 prefill 效率的读者参考。
论文提出 HarnessPro,一种无标注方法,通过 LLM 生成的测试评估候选框架,并用 Pareto 优化同时提升任务性能、降低执行成本。在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 上,用 GPT-5.5 加 Codex 时 heavy 模式相对 RHO 平均 pass-rate 提升 2.0 个百分点、单任务成本降低 26.1%,用 GLM-5.2 加 Claude Code 结果一致,并输出 lite、medium、heavy 三档框架供不同部署预算选用。
推荐理由:论文用无标注测试加 Pareto 选择同时优化 Agent 框架的性能与成本,给出与 RHO 的对照数据,方法可迁移到类似的框架自改进场景。
Monsoon 是一个大规模收集自发语音数据的框架,用于解决低资源语言 ASR 缺少准确转写数据的问题,已收集 50 种语言的语音,并分析了七个共 3,500 小时的语料库。同等数据量下,其质量流程使语义 WER 相对降低 10-39%;Whisper 在 Monsoon 数据上微调后,在对话基准上语义 WER 降低 20-44 点。框架、质控模型和微调模型均已开源。
研究者提出一个博弈论框架,让 LLM 通过上下文经验(无需微调)学习反制电话诈骗的策略。框架将骗子与"baiter"的交互建模为双人博弈,以 Nash equilibrium 作为评估基准。在 300 段模拟对话和三种 LLM 架构上,自适应策略选择比非自适应基线更接近 Nash equilibrium 28.9-79.7%,相关代码及带策略标注的数据集已开源。
RESIN(Reasoning with Entity Structured Indexing)提出一种多链推理方法,将问题分解为单跳需求,检索源文本证据并放入紧凑推理缓冲区,保留多个候选依据直至最终组合。在 HolisQA 基准全量测试中,RESIN 取得 82.92 context recall 和 76.70 answer relevancy,五个领域的 CR 与 AR 均高于已发表基线。消融实验表明类型化证据多样性和逐跳分解都不可或缺。