零样本工具选择研究:从语义相关性到功能与上下文有效性验证
一篇 arXiv 论文提出渐进式验证框架,解决 LLM 智能体零样本工具选择中的“迁移有效性缺口”——语义相关的工具在迁移后仍可能不满足功能或上下文要求。该框架在语义相关性之外引入基于端点的功能兼容性与任务条件上下文证据,在跨域和跨数据集迁移中持续提升能力排序,消融实验证实两类验证的互补贡献。
新闻、仓库与研究,按时间排列。
一篇 arXiv 论文提出渐进式验证框架,解决 LLM 智能体零样本工具选择中的“迁移有效性缺口”——语义相关的工具在迁移后仍可能不满足功能或上下文要求。该框架在语义相关性之外引入基于端点的功能兼容性与任务条件上下文证据,在跨域和跨数据集迁移中持续提升能力排序,消融实验证实两类验证的互补贡献。
一篇 arXiv 论文提出多开发者智能体系统(MDAs),让多个开发者协作构建智能体系统以突破单开发者的能力上限。在 GAIA 基准上,单个智能体准确率不超过 35% 的专业化开发者群体,组合成 MDA 后达到 70%,比用数倍开发预算构建的中位通用单开发者系统高 12 个百分点。理论模型显示 MDAs 能激励专业化分工并更高效利用聚合的开发者资源。
arXiv 论文提出 ActiveEvidence 框架,将多模态智能体的主动证据获取建模为决策可认证问题,用反事实证据交互图(CEIG)表示证据价值与条件伤害,并通过 ε-决策证书判断未解析项是否可能改变所选动作。在 640 个案例(384/128/128 划分)上,控制器达到任务分 0.842、grounding F1 0.816、证据召回 0.873、1.74 次接受调用、286.5K visual tokens 和 742ms p95 延迟;证书重放显示 0.992 动作一致率与 0.988 证书率,每决策仅评估 19.6 而非 191.4 个昂贵交互项。
PhySGA 是一个通过智能体探索与物理仿真实现 3D 物体组合的框架,支持刚性、铰接和可变形物体的交互式装配。其采用 Assembly Agent 负责全局规划、Critic Agent 基于接触动力学做闭环纠错的双智能体架构,并配自进化技能库复用试错经验。在 Isaac Sim 中的实验显示,其在关系保真度、物理合理性和视觉质量上显著超越现有方法。
研究者提出一种超越 LLM 评判的 Lean 形式化验证方法,将 LLM 语义审查与机械化数值和空泛性检查结合,可给出可核查反馈并发现 LLM judge 漏掉的错误。该方法配合 Extract-Verify-Proof 自动形式化流水线构建了 NIST DLMF 的部分形式化库 FLMF;在三个标注数据集上,其接受错误率为被评估方法中最低,专家审查还发现了现有数据集的翻译与来源缺陷。代码已开源。
研究团队提出 Player-1,一个通过合成经验进行游戏控制后训练的框架,扩展了计算机操作智能体的动作空间,并在 6,044 条精选游戏轨迹上做监督微调。其配套的 Player-1-Gym 提供 16 个可编程验证奖励的 2D/3D 合成环境,支持基于 PPO 的多环境强化学习。Player-1-9B 在 MineDojo-300 上达到 38.33% 成功率,比最强基线 12.63% 高出 27.8 个百分点。
一篇 arXiv 论文分析了智能体市场中以一价拍卖(FPA)分配用户提示词时的无序代价(PoA)。论文提出两个可降低福利损失的特征:竞争下限与条件近似独立性,后者可推导出接近最优福利 1 - 1/e² 的效率保证,均优于一般情形的 1 - 1/e;结果在 EmbedLLM 提示词路由数据集上获得实证验证。
arXiv 论文 2610.20597 提出一种为语言智能体引入多步动作目标的训练方法,在成功轨迹上训练策略骨干生成后续动作序列,并从历史预测每个动作形成时间集成,使行动与预测协同演化。在 ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld 五个基准上,该方法整体表现超过 GRPO 及带预测辅助目标的 RL 基线,在 ScienceWorld 上样本效率分别比 ECHO 和 GRPO 高 1.9 倍和 2.0 倍,且只用单一策略骨干,推理时无额外开销。代码已开源。
推荐理由:论文给出多步动作目标的训练方法,在五个基准上对比 GRPO 等基线并报告样本效率倍数,方法可复现且代码已开放。
作者发布 MultiPartyTurnBench(MPTB),包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型,评测话轮结束(EOT)检测与打断(INT)检测两项任务。基线模型 EOT 召回率达 82.5-92.6%,但五个全双工智能体在选择性打断处理上接近随机水平(46.9-54.7%),Gemini-3.8-Live 对 97.7% 的附和信号让出话轮,MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。
推荐理由:基准把真实话轮转换与易混淆的非事件分开评测,并给出五个全双工智能体在选择性打断上的具体短板数据。
arXiv 论文提出 HICO-Bench,包含 180 个日常协调场景,通过程序检查 Feasibility、LLM judge 检查 Integrity 来判定 Verified Success。测试 13 个 LLM 发现 36% 被评为高目标完成度的对话无法通过 Verified Success。论文还提出 PaCPO 方法,将 Qwen3-8B 的 Verified Success 从 20.4% 提升至 28.3%。
Dongzhuo Li 等人在 arXiv 发布 TreeFlex 框架,让 Agent 用单个模型以 Reflection 和 Execution 两个角色自主决定在搜索树中深化、分支、回溯或验证,摆脱单一上下文里陈旧信息挤占容量的限制。导航、任务动作、检查点与提案审核通过树感知改造的 GRPO 联合训练。4B 模型经小规模 RL 后在深度研究基准达 48.8% 准确率,高于 flat ReAct 的 41.5% 和 FoldAgent 的 42.8%,Pass@8 高出约十分;9B 模型在 SWE-bench Verified 解决 54.9% 任务,高于 FoldAgent 的 43.3%。论文链接 https://arxiv.org/abs/2610.20334v1
推荐理由:论文给出 TreeFlex 与 ReAct、FoldAgent 在相同上下文限制和相同起点模型下的对照数据,可比较搜索树导航带来的具体提升。
一项 arXiv 研究对比了 AI 智能体社区 Moltbook 与台湾大型人类论坛 PTT 上的八卦(对缺席第三方的评价性谈论)。结果显示智能体社区同样存在八卦,但流行度比人类低 2.6 至 6 倍;含可编码回复的帖子中,人类帖子出现质疑的比例为 65.1%,智能体仅 21.3%,且早期附和后共识在 83.6% 的智能体帖子中不再受挑战(人类为 44.7%)。这表明智能体社区复现了八卦的信息维度,其关系功能是否相当仍无定论。
arXiv 论文提出 Claim Cards,在收集证据前将验证智能体对科学论断的解释记录为九个字段,并标注为 stated、inferred 或 default。在 60 条材料科学与生物医学专家标注论断上对 GPT-5.4 智能体共进行 900 次运行,冻结卡片中单个字段被刻意修改后,约三分之一的论断判定被改变,而随机预期约为七分之一(p < 0.001)。卡片使每次运行的 GPT-5.4 token 与时间增加约十分之一,但与专家标签的一致性没有可测变化。
研究者提出 MolLean,一种基于 Lean 内核的过程可验证语言,将化学链式推理锚定在显式分子状态上,可检验状态转换与分子断言,并配套提供有状态工具接口 MolLean-MCP。在覆盖分子生成、编辑、优化与反应的 12 个任务、8800 个匹配样本上,Qwen3.6-27B 的全轨迹精炼模式在全部 12 个任务上优于直接链式推理,MolLean-MCP 则在反应任务上表现更佳。
一项 arXiv 研究提出 Cross-Interface Policy Regularization(CIPR),一种自监督目标,通过让策略在两个等价接口下动作分布的 KL 散度最小化,实现跨接口一致性训练。在 agentic function calling 上,held-out 接口扰动使 post-trained agent 准确率下降近 25%,CIPR 恢复 10.5%,且不影响原接口准确率。
arXiv 论文(arXiv:2610.19614)提出将 LLM Agent 轨迹视为动作与环境观测共享嵌入空间中的路径,同一任务的成功与失败 rollout 在该空间中可分离,简单判别器在三个 Agent 基准和三个策略模型上预测 held-out rollout 结果最高达 0.95 AUROC。作者进一步推出基于 transformer 的 Precog-RM,通过元学习使结果预测可在 few-shot 设定下泛化到未见任务和模型,并在轨迹终止前给出置信预测。部署为 GRPO 在 Tau2-Bench 上的早停控制器时,最多削减 47.3% 训练 FLOPs 且性能与基线 GRPO 相当。
推荐理由:论文给出跨三个基准和三个策略模型的 AUROC 数据,并量化了 GRPO 训练最多省 47.3% FLOPs 的收益。
研究者发布 J-tau,首个公开的日语基准,用于评估在交互式客服场景中使用工具的 LLM 智能体。该基准通过对 tau-bench 进行机器翻译、实体适配和人工审校实现日语本地化,并修复了原 tau-bench 中的无效任务和分数聚合错误两类缺陷。实验显示 J-tau 比简单机器翻译版本产生更少的评估错误。
DGS-WM(Decision-Guided Selective World Modeling)是一种面向语言智能体的策略-世界建模协同训练方法,通过决策引导的观测筛选和置信度自适应加权,仅对具有决策价值的观测单元施加世界建模监督,并与 RL 损失联合优化。在单跳/多跳问答和交互式网页任务等多项 benchmark 上,该方法在不同模型规模和 RL 算法下均取得一致提升,表现优于全观测世界建模方法。
Xin Li 在 arXiv 发布 SYNC(Symbol-Indexed Neural Communication),一种免微调、免学习翻译器的词索引接口,让异构语言模型通过共享词表索引交换事实。发送方仅凭描述从共享词表选词并发送索引,接收方用自己的词方向向量将事实写入隐藏状态;在 3 个发送方与来自 5 个模型族的 9 个接收方上,新场景四问成功率 72.0-98.3%,最高比中层写入高 96 个百分点,两个最大接收方与纯文本持平;任务无关探针提前预测可用写入深度 45/45 命中,新布局下逐条事实消息保持 89.6-100% 成功率。项目页、代码与数据已公开。
推荐理由:论文给出跨架构模型间免训练通信的具体接口设计和多组收发模型组合的实测数据,方法可复现且代码数据已开放。
RouteWeaver 是一个统一 LLM 路由框架,将单轮、多轮与 agentic 路由模式整合进单一策略,联合学习模式选择与模式内模型执行。其配套的 COMET-GRPO 训练方法将优势信号解耦到两个决策层级,并引入渐进式探索。在数学、代码、知识、逻辑推理与事实召回评测中平均准确率达 61.4%,较最强基线相对提升 11.03%,并在全部五个领域超越所有对比基线。
Yilin Jiang 在 arXiv 发布论文(arXiv:2610.19659),提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中,480 条回复有 54% 不可用,最好的模型失败率仍达 30%,失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43,用第二个模型改写回复可降到 0.36,并经人类标注者盲测确认。
推荐理由:论文提出可量化的回复可用性指标,并给出追加一条消息或调用改写模型两种降低失败率的做法。
医疗推理 LLM 依赖的外部知识可能过时、被污染或产生幻觉,导致正确答案被改错。研究者构建了覆盖检索证据与推理链的医学知识投毒 benchmark,含七类攻击族,并提出 Med-TrustRouter:在保持求解器冻结的情况下,基于运行时信号逐实例路由知识使用。在七个医疗推理设置中取得 78.9 macro 和 69.2 worst-case 准确率,macro 与最强基线持平,同时显著提升最差情况下限。
论文提出 Interlock 框架,将任务表示为类型化完成图,通过 grounding 边、coupling 超边和 realization 边刻画证据、决策与下游效果间的关系,并编译为可重置工作区、公开请求与评测 rubric。在两个 Qwen3.6 backbone 上用自产轨迹微调后,AutomationBench 任务通过率提升 4.00-4.50 个百分点,JobBench 加权分提升 3.20-6.64 分,Harvey LAB 准则通过率提升 3.89-4.16 个百分点。
一项 arXiv 研究证明,在归一化有理分段常数加加性估值下,计算完整连续 ε-无嫉妒蛋糕切分是 PPAD 完全的,即使 ε 以一元表示、密度仅取两个相同值且至多六个断点时仍成立,由此精确连续无嫉妒切分同样 PPAD 完全。研究还证明对任意固定整数 c≥1,路径上不可分物品的连续 EFc 分配在加加性估值下为 PPAD 完全,解决了 Goldberg、Hollender 和 Suksompong(JAIR 2020)与 Bilò 等(ITCS 2019)的开放问题。
arXiv 论文提出 Confidence-Guided Credit Correction(C³),一种可插拔的局部信用修正方法,解决仅用结果奖励的多轮智能体强化学习中错误行为仍获正优势的问题。C³ 在优势估计后选择性修正正信用,修正强度由行为策略的置信度自适应控制,不改任务奖励与原信用估计。在多个多轮 benchmark 上,C³ 在基于 critic 与无 critic 的 RL 方法下均提升性能。
论文提出 RuleTrek,一个面向复杂场景的多领域智能体规则推理基准,通过规则图谱构建并增量组合子场景,评估规则识别(RI)、规则推导(RD)与端到端规则推理(E2E)三项能力。对 11 个前沿 LLM 的实验显示,RI 与 RD 最高分仅 62.47% 和 60.43%,E2E 得分在 26.97% 至 55.29% 之间,代码与数据集已公开。
一项 arXiv 研究发现,多会话 LLM 智能体在切换模型并传递历史记录时会出现“行为迁移”:接收模型会采纳生成历史的模型的推理与行动模式,该效应在原始历史传递时最明显,用摘要可大幅减弱。研究者据此提出 DASH(Direction- and Authorship-aware Summarization of History),在保留强模型行为的同时减少弱到强迁移,重复切换实验显示其优于原始历史传递和朴素摘要基线。
研究者提出 PRISMATIC,一种基于黑板架构的多智能体系统,由代表不同工作流角色的专用智能体协作生成并优化治疗方案,并引入 DSWA 长期权重调整与 DFPC 短期分歧校准两种自适应协调机制。在 MIMIC-IV 患者记录上的实验显示,相比强 LLM 基线,该系统显著减少药物冲突、提高处方覆盖率和治疗一致性。
该研究提出一种去中心化 HVAC 控制方案,每个空调区域分配一个独立的主动推理(active inference)智能体,通过最小化期望自由能在线学习区域动态,智能体间不通信,仅借助潜在扰动和其他楼层电表推导的拥塞信号应对共享风系统的耦合。在 EnergyPlus 的 Sinergym 办公楼中用 15 个智能体对比 3 种规则控制器和 3 组 MADDPG,5 个未见噪声天气年份下取得最低平均建筑峰值 88.3 kW(比基线低 3-17%),相似舒适度下每月峰值总和每年降低 33 kW(4%),代价是约 10% 的额外能耗。整套系统运行在一台 Raspberry Pi 5 上,经 MQTT 完成观测到动作闭环的 p95 延迟为 442 ms。
ReproBAIT 评测衡量编程智能体在沙盒、无网络、有限信息条件下设计、实现并训练已发表生物 AI 工具的能力,覆盖 ProteinMPNN、RFdiffusion3 和一个闭源分子设计工具,并按 held-out 数据上的表现打分。结果显示部分工具复现能力可观,但高度复杂工具表现有限,且存在与记忆化一致的中等程度证据。作者提醒工具开发者公开信息可能削弱工具商业价值或影响双用途受控访问策略。
研究者提出运行时验证架构 AgenticRV,将 Agentic AI 系统的执行边界与监控形式化解耦:适配器输出规范事件,各监控器获得独立投影与抽象,决策策略基于归一化判定选择响应。其 Python 实现支持 LangGraph、MCP 和 A2A,受控 LangGraph 实验结合 Reelay 时序监控器与程序化报告监控器,消融实验证明两者缺一不可。
arXiv 论文提出 LAGO,将专用语言智能体作为可复用的时序扩展选项,由 meta-agent 检索或生成选项、分发子任务并验证结果,选项库跨任务增长且不更新模型权重。在 500 个 SWE-bench Verified 任务上,冻结的 Qwen3.5-35B-A3B 单次尝试解决率为 58.6%;在固定 150 任务子集上与 mini-SWE-agent、Terminus 2 同条件对比,解决率分别为 49.3%、57.3% 和 60.3%。50 任务消融显示去掉分解少解决 4 个、打乱复用内容少 2 个、去掉选项库少 6 个。
推荐理由:论文给出了同条件下的组件消融与横向对比数据,读者可以据此评估可复用 agent 选项库在长任务中的实际贡献。
研究者提出 Euler,一个以人为中心的数学研究系统,围绕共享的结构化研究过程表示构建,将数学陈述、假设、证明依赖、备选路径、失败尝试与验证证据组织成连通的研究图谱。该表示让研究者可追溯结果的推导过程,并为智能体提供跨会话的持久任务相关知识,支持规划、协作与验证,还可回访智能体早期推理并探索替代方向。论文通过三个数学研究案例展示系统能力,并给出实现与软件验证。
arXiv 论文提出 Legal-R1,一种用于循证法律推理的智能体检索框架,将法律推理分解为多智能体工作流:Lawyer 智能体学习何时检索、查询何种法律来源及证据是否充分,Legal Assistant 智能体基于权威性与多样性从规范法律来源和判例中检索,Judge 智能体依据完整证据轨迹生成最终答案。仅对 Lawyer 智能体采用掩码监督微调与轨迹感知强化学习进行后训练,在中国法律基准上超越通用、法律专用及检索增强基线。
论文提出直接知识图谱交互框架 DKGI,让大语言模型智能体在完整节点与边文件上用 Python 代码自建图谱访问工具,交替执行 shell 搜索与文件检查。在覆盖三个域的基准数据集上,免训练的 DKGI 在每张图上超过最强已发表基线至少 6.7 Hit@1;消融显示多轮编程优于仅用 shell 或预定义图谱工具,轨迹显示智能体会修改代码以扩展搜索或修正错误。代码与数据已公开。
推荐理由:论文给出免训练的图谱搜索框架和跨三个域基准上至少 6.7 Hit@1 的提升,消融还拆解了多轮编程相对固定接口的收益。
BASIS(Bayesian Axis Selection via Interactive Signals)是一种免训练的贝叶斯方法,利用测试时弱反馈推断当前决策由任务特定准则库中的哪个准则主导,并按期望信息增益选择探针。该方法将六探针概念恢复 Success@1 从 56.0% 提升至 68.1%,推理准确率从 72.3% 提至 73.1%,精修胜率从 61.4% 提至 63.8%,并超过算力匹配的 best-of-N 选择。论文已被 NeurIPS 2026 接收。
SkillScaffold 是一种策略自适应训练框架,通过复用结果验证的训练轨迹、以结果感知的似然比较低成本估计技能效用,无需候选专属环境 rollout,并据此选择性注入技能或保持无技能执行。在 ALFWorld、WebShop、ScienceWorld 和 τ²-Bench 上超越强智能体 RL 与技能型 RL 基线,代码已开源。
研究者推出 Audio Memory Operations(AMemOps)基准,用于评估长音频流中的最新属性检索、未变属性保持与缺席声源拒绝。在测试乐器的其他录音上训练后,参考 delta-rule 记忆相比匹配的 attention 更新优势提高 13.4 个百分点;120s 检索延迟实验分离了重复一致性与早期冲突值的代价。
提出生成式轨迹规划(GTP),一种基于模型的在线决策框架,用扩散模型作为动作序列的提议分布,再结合学习到的动力学、奖励和价值模型进行精炼,避免每步从头求解高维优化。在连续控制与长时域操作任务上,GTP 达到或超过 model-free、diffusion policy 和 model-based 基线,且在强基线退化的场景中保持稳定。
论文提出 ProAS,一个即插即用的多轮智能体强化学习优势塑形框架,解决 GRPO 等无 critic 算法将轨迹级优势均摊到所有动作的信用分配问题。其通过动态演化的 Agentic Reference Graph 实现细粒度信用分配,包含 Masking Unreasonable Incentives 与 Asymmetric Penalty Redistribution 两个机制。在 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 上,ProAS 将主流组式基线提升至 SOTA,ALFWorld 峰值成功率分别达 91.9% 和 94.3%,WebShop 达 66.7% 和 70.8%,训练收敛最高加速 2.44 倍,且对不完美或蒸馏的 ARG 保持鲁棒。