跳到正文
10月23日周五
  1. arXiv · cs.AI41

    DuoCook:一个受 Overcooked 启发的视觉规划与协调 benchmark

    研究者推出 DuoCook,一个基于 Unreal Engine、受 Overcooked 启发的视觉规划与协调评测 benchmark,由单一视觉语言模型通过俯视视觉观察同时控制两名玩家。benchmark 包含 5 类共 20 张地图,评估任务得分、订单完成率、交付精度、动作接受率和 API 花费,并对共享自写笔记记忆做了消融实验。表现最强的模型 gpt-6-astra 平均订单完成率仅为 26.2%;笔记记忆对 Claude 和 Qwen 平均加分,对 GPT 和 Gemini 则为负向。

  2. arXiv · cs.AI27

    可争议智能体用于数据治理:跨结构化与非结构化系统记录 AI 生成元数据的人类监督

    一篇 arXiv 论文提出“可争议治理”模式:基于 LLM 的专家智能体为有争议的元数据决策生成带评分和引用的论证,steward 可在提交前接受、拒绝、修改或补充论证,治理记录保留证据、干预与结果。工作流包含分级分诊路径、评分与记录模型及已验证决策的先例门控,版本化领域术语表为智能体提供术语与缩写定义。两个 HVAC 用例展示了基于 Brick Schema 的点位分类(附开源参考实现)和关联索赔字段、遥测与服务记录的保修失效模式决策。

  3. arXiv · cs.AI49

    Social-HUMINT:一个用 LLM 统一衡量社交媒体暴露程度的框架

    研究者提出 Social-HUMINT 框架,将 SOCMINT 与 Cyber-HUMINT 统一为涵盖 38 项能力的分类体系(专家验证 Fleiss' κ = 0.92),并实现为 LLM 增强的多智能体流水线。在真实参与者公开数据上,信息抽取 F1 = 97.3%,推断属性得分 4.73/5,远超基于规则和 NER 的基线。该框架可预测目标对个性化诱导选项的排序以间接评估易感性,帮助防御者在攻击者之前评估自身暴露风险。

  4. arXiv · cs.AI40

    METTA:面向元强化学习的记忆增强测试时自适应方法

    研究者提出元强化学习方法 METTA,将快速自适应分解为两个时间尺度:因果神经记忆以线性序列复杂度完成回合内细粒度自适应,紧凑的回合级摘要支持跨回合任务推断。在未见过的 Meta-World ML10/45 测试环境上,METTA 成功率超过 50%,且训练预算低、耗时短;在长上下文稀疏奖励 PointMaze 任务上,其探索行为比基于 transformer 的基线更有结构。

  5. arXiv · cs.CL12

    MixJudge:面向人声混音的语言可查询音频评审模型

    研究者构建了覆盖 11 类人声混音问题、含多种严重程度的教学式课程数据,训练出语言可查询的音频评审模型 MixJudge。该模型能检索混音问题、区分相反问题并对问题严重程度排序。在菜单选择任务中,MixJudge 往往偏好声学上更接近留出专业版本的处理方案,显示显式混音判断可支持比较与下游混音决策。

  6. arXiv · cs.CL32

    ReflectPO:面向长程 LLM Agent 的反思引导策略优化

    研究者提出 ReflectPO,一个用于长程任务中自主错误恢复的强化学习框架,包含反思引导采样和树结构信用分配两个核心组件。在两个长程工具使用 benchmark 上,ReflectPO 在多数领域超越现有基线,平均总体性能最佳。分析显示该方法能提升 Agent 识别自身偏差、从错误状态恢复并持续推进任务的能力。

  7. arXiv · cs.CL20

    疫苗与移民争议政治话语中省略三段论检测的解释性差异与话语结构研究

    arXiv 论文研究社交媒体上省略三段论(enthymemes)的检测:在疫苗和移民相关推文上,每条由五名标注者标注,所有微调模型的 F1 都停留在约 0.67,与数据规模、特征或标签类型无关。论文提出将预测与标注者投票的完整分布进行比较的评测指标,以及直接预测该分布、更好捕捉分歧且不损失 F1 的模型。研究发现模型依赖显式论证结构,难以识别链接隐含、需读者自行推断的论证。

  8. arXiv · cs.CL63

    arXiv 论文发现 schema 中的最小条目数会让开放权重模型填充提取列表

    arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为,发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文,难以被校验发现;告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限,而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。

    推荐理由:论文用预注册实验量化了 schema 最小条目数如何导致模型凑数虚报,并实测了几种常见修复方法的有效程度。

  9. arXiv · cs.CL43

    面向长期个性化 Web Agent 的主动偏好获取方法 APA 研究

    一项 arXiv cs.CL 研究提出主动偏好获取(APA),用未来任务期望累计收益减去询问成本与隐私风险的 Prospective Personalization Value 指标,决定 Web Agent 值得询问哪些用户偏好。在纵向基准 ActiveWebPref 上,20 个任务的视野下 APA 获取了 80.3% 依赖摊销的有价值缺失偏好,而仅看当前任务价值的方法只获取 5.1%,并以 27.6% 的问题恢复了全量询问 84.2% 的效用收益。

  10. arXiv · cs.CL41

    超越观看与搜索:面向视频中心深度研究报告的智能体评测基准 OmniDR-Bench

    研究者提出视频中心深度研究报告生成任务,并发布技能工作流与评测基准 OmniDR-Bench。该基准包含 50 个中英文任务、覆盖 19 个真实子类别、共 6,414 条标准,并采用 Omni Atomic Rubric Trees(Omni-ARTs)从视听定位、多模态证据使用和交互式呈现三个维度评估。在 18 个智能体配置中,最佳系统仅得 63.3/100 分,代码与数据已开源。

  11. arXiv · cs.AI20

    Agri-SCHOLAR:基于 LLM 约束优化与作物模拟的农时滚动农事建议框架

    arXiv 论文提出 Agri-SCHOLAR,一个面向农作物的滚动式农时建议框架,每隔几天或一周结合土壤作物属性、已观测天气、短期预报和历史相似年外推,生成个性化建议。系统用多个 LLM 智能体为可操作参数设定农艺合理的边界,优化器在边界内以产量、资源利用和经济可行性多目标奖励搜索,并以 APSIM 等作物模拟器作为评估 oracle。对南亚两个地点 11 年的玉米分析显示,Agri-SCHOLAR 持续优于当地标准种植方案。

  12. arXiv · cs.AI31

    机器人系统多工具选择研究:语义检索与大语言模型路由策略对比

    一项arXiv研究对比了机器人工具路由的四种策略:三种基于ChromaDB的语义检索方法(固定阈值、相对距离、子句感知聚合检索)与一个云端托管的1200亿参数LLM基线。在164条人工标注提示词上,检索方法CDB-v3取得最佳macro-average分数0.7822,LLM基线为0.8869。研究显示大模型路由质量更高,但CDB-v3延迟更低且可本地部署,适合隐私敏感和连接受限的机器人系统。

  13. arXiv · cs.AI45

    Dual Exam:多模态智能体与世界模型的受控评测

    arXiv 论文提出 Dual Exam 评测框架,在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置,GPT 6 Astra 以 31.3 的 Agent Index 居首;World Model 赛道含 400 个案例、8 个场景,GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零,揭示了任务表现不均与任务相关状态保持失败的问题。

  14. arXiv · cs.AI35

    多智能体系统中谁最有影响力?——多智能体 LLM 共识动力学研究

    一项 arXiv 研究设计了简单任务,测量多个 LLM 混合在同一多智能体系统中谁对最终共识影响最大。跨七个模型家族的实验发现,其他模型的观点会被参数量更大的强模型吸收,即使任务无需预训练知识也没有正确答案。研究者将智能体建模为单纯形上加权粒子:大模型权重更大、in-context learning 更强,会放大上下文中的多数意见,因此成为“影响者”。

  15. arXiv · cs.AI24

    AI 能协同设计结构吗?一个面向早期结构设计的 AI 智能体

    研究者提出一个概念验证工作流,通过 MCP 服务器将 AI 智能体接入基于 COMPAS 的结构建模 API,实现提示词到结构的生成。智能体通过受控建模操作创建和修改由显式建筑构件组成的图结构数据模型,产物可检查、修改、序列化并对接下游 AEC 工作流。经提示词示例和渐进可编辑设计序列演示,这是迈向 AI 辅助结构协同设计的第一步,结果尚属初步。

  16. arXiv · cs.AI43

    工具增强模型对比中的提示词敏感性问题

    arXiv 论文提出一种匹配协议,将工具增强问答评测拆分为答案读出、推理、调用决策、工具返回和无调用报告五个步骤,以检验工具是否让模型对比更稳定。在五个领域、五种问法下测试六个开源模型后发现,工具在程序可作答的场景提升准确率,但会扩大许多两两对比的措辞敏感性,其程度随模型调用频率变化。作者建议在准确率之外同时报告调用频率和多措辞下的对比稳定性。

  17. arXiv · cs.AI37

    网络拓扑如何塑造 LLM 群体中的共识形成与脆弱性

    一项 arXiv 研究将四个 LLM 的策略置于全连接、随机正则和异质网络上,用 10³ 到 10⁵ 个智能体玩命名游戏。最稀疏的网络可使共识形成最慢慢至十二倍,但也让部分混合交互下不收敛的情况恢复共识。攻击所需的临界智能体数量按枢纽、随机、低度节点递增,在异质拓扑上中位数分别为 3%、16% 和 35%,混合交互估计可能高估多智能体 AI 系统的鲁棒性。

  18. Hugging Face Blog70

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分作 RL 奖励后训练 Agent

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。

    推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。

10月22日周四
  1. arXiv · cs.CL27

    BiasGuard-D:面向 LLM 输出质量可审计执行的类型化对抗契约

    论文提出 BiasGuard-D 框架,用来自不同模型族的两个对抗角色交换类型化声明文档、三模型多数投票裁决,并以引用加语义组合不变量验证结果,为 LLM 生成记录提供可审计的溯源链。该方法在 HaluEval QA 上仅改角色设定即从刻板印象迁移到幻觉修复,正确答案恢复率提升 49 个百分点;语义组件能捕获引用检查漏掉的判定,移除迭代循环会使不变量满足率大幅下降。

  2. arXiv · cs.CL57

    生物医学声明验证智能体的 harness 设计消融研究

    一项 arXiv 研究(arXiv:2610.29812)在 SciFact 生物医学声明验证任务上,用 live PubMed API 作为唯一工具,对四种 harness 做受控消融,涵盖 closed-book、以 claim 为 query 的单次检索、ReAct 式自写 PubMed 查询的智能体,以及给定 gold abstracts 的 oracle,使用两种高效 frontier 模型作为固定骨干。

    推荐理由:受控消融比较四种 harness,指出检索而非推理是生物医学声明验证智能体的瓶颈,方法可迁移到类似评估设计。

  3. arXiv · cs.CL52

    MemoryTax 论文:在 LoCoMo 对话上比较四种记忆方法与三个编码 Agent 的成本与准确率

    arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。

    推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。

  4. arXiv · cs.CL49

    P2NPCBench:用对抗性多智能体重写检验 LLM 在配对 P 与 NP 完全问题上的真实推理能力

    研究者推出 P2NPCBench 基准,将 12 个问题族中的 NP 完全问题与同表面的 P 问题配对,并用 AgentGAN 对抗性多智能体框架改写题目以消除教科书式提示,生成 2,114 条经人工验证的题目。评测 12 个专有与开源模型发现,模型在 NP 完全题目上的 pass@1 为 35.4%,显著低于 P 题的 63.8%;十倍时间限制仅将 NP 完全准确率从 28.5% 提升至 31.9%,说明失败源于程序错误而非速度,且对抗性加固使复杂度类差距从 24.8 收窄至 14.6 分。

  5. arXiv · cs.AI54

    PAUSE 提出在编码智能体首次改代码前用单次规划干预引导其走向

    论文提出 PAUSE 框架,在编码智能体发出首次源码编辑请求前拦截,由独立 Planner 读取任务和编辑前转录生成一份修复计划,无需学习监控器、检查点搜索或额外模型调用。以 Qwen3-coder 为 Executor、GPT-5.6 Sol 为 Planner,在 SWE-bench Verified 的 OpenHands 上提升 16.8%,在 Multilingual 的 SWE-agent 上提升 14.7%,并优于 LivePlan 3.2% 和 3.7%,Planner 开销约为 SICA 周期性监督的 11-15%;离线模式下从记录前缀恢复可挽回 35.4% 的合格失败任务,比重启少用 33-41% 的 Executor token。

    推荐理由:论文给出单次规划干预的无搜索引导框架,用 SWE-bench 实测提升幅度与 Planner 开销对比,方法可参考。

  6. arXiv · cs.AI45

    ToM2Vec:用于多智能体协作的连续心智理论 token

    研究者提出 ToM2Vec,通过固定预算的连续推理 token 让 LLM 智能体在潜在空间中形成抽象心智理论。在 Overcooked-AI、Hanabi、多方谈判等合作、竞争与混合动机环境中,其表现持续优于基线模型,且能泛化到训练时未见过的模型家族(包括 GPT-5.4)。分析显示潜在 token 编码的是心智理论而非任务特定信息,且以文本表达推理时性能会下降。

  7. arXiv · cs.AI30

    FaultGene:LLM 辅助的故障增强测试生成,用于自动驾驶系统硬件在环(HIL)验证

    FaultGene 是一个 LLM 辅助框架,可自动生成可执行的故障增强测试,用于自动驾驶系统的硬件在环(HIL)故障韧性验证。它基于给定的 Scenic/CARLA 基线场景和结构化故障规范生成测试用例,并通过语义一致性检查和执行反馈进行离线微调。部署后无需人工构造参考执行或反复迭代即可直接生成测试。

  8. arXiv · cs.AI34

    每个告警都有因:绑定 NORIA-O、RFC 8632 与 TMF642 的电信告警风暴开放生成器

    研究者发布一个电信告警风暴开放生成器(Apache-2.0),基于 Internet Topology Zoo 真实骨干拓扑,为每条告警记录确切根因与传播路径,所有字段绑定 NORIA-O、RFC 8632、RFC 8345 或 TMF642 术语,并附固定配置、划分、评分器和九个基线。「对最早 critical 告警设备排序」的单行规则 top-1 达 0.650,胜过时间方法 0.575 及 LLM 的 0.600(可查询图时 0.625),在真实运营商告警上也以 0.773 领先;但站点断电时 PoP 无告警,排序类方法得分 0.000,遍历拓扑的方法可达 1.000 和 0.833。

  9. arXiv · cs.AI46

    Agent Behavior Maps:无需运行 Agent 即可依其行为定位 LLM 智能体

    论文提出 Agent Behavior Maps,通过在共享参考轨迹上计算居中的动作对数似然来表示 LLM-harness 组合,无需为目标 agent 运行新的环境 rollout。在 100 个 LLM 和四个环境上,基于 ALFWorld 的坐标可支持性能预测并识别行为相似性,且在控制成功率和模型规模后这些相似性仍跨模型家族存在。推导的误差 bounds 将坐标距离与轨迹 KL 相关联,八个交叉评分模型的距离排序与实测轨迹 KL 一致;harness 组件位移近似可组合。

  10. arXiv · cs.AI38

    Code Comprehensor:面向大型代码库的分层文档与跨模态检索框架

    Code Comprehensor 是一个混合检索-推理框架,结合代码依赖调用图、基于代码感知 LLM 生成分层文档的 CodeScribe,以及 CLIP 风格双编码器 CodeContrast,实现文本-代码对齐检索,并经 MCP 编排器回答领域查询。在 OpenCV 和一个 500 万行代码的私有仓库上,CodeScribe 衍生监督显著提升 text-to-code 检索准确率;RAGAS 评测显示输出 faithfulness 超过 90%。该论文已被第 42 届国际软件维护与进化会议(ICSM)接收。

  11. arXiv · cs.AI54

    arXiv 论文揭示企业文档摄取中格式线索的静默丢失

    arXiv 论文(arXiv:2610.30026)指出,主流文档转换器会丢失作者通过排版编码的含义,导致企业 Agent 自信地答错而非明显不完整。基于 76 份真实政策文档的任务上,格式盲摄取使 micro F1 从 0.690 跌至 0.150(docling)和 0.075(纯文本),差距在两个厂商的六个回答模型上复现;span 级 leave-one-out 将损失定位到高亮(+0.302)和颜色(+0.262),6,460 份文档中 32.8% 带有刻意颜色或高亮。结论是可靠性取决于摄取而非推理,修复方式廉价且可测量。

    推荐理由:研究用 76 份真实政策文档量化文档摄取层丢失格式线索的程度,并给出低成本可测的修复方向,对 Agent 构建者有直接参考价值。

  12. arXiv · cs.AI43

    基于 Behavioral Localization 的工具使用 Agent 软技能稳健适配方法

    一项 arXiv 研究提出 Behavioral Localization 方法,通过对比冻结 Agent 有无文本技能时的行为差异,定位对技能效果贡献最大的轨迹位置,再用这些位置监督训练短软提示。在 SpreadsheetBench 上用冻结的 Qwen3.6-35B-A3B 实验显示,轨迹中前 10% 的位置捕获 96.12% 的正向技能增益;共享提示设置下成功率从全轨迹监督的 30.36% 提升至 36.79%,任务特定设置下达到 57.38%,超过完整文本技能和 OPCD 基线。

  13. arXiv · cs.AI42

    SWE-DIVE:基于动态用户模拟的多轮编码智能体评测框架

    研究者推出 SWE-DIVE,一个用于多轮环境评测编码智能体的动态交互式验证框架,弥补 SWE-bench 等基准只使用一次性、结构化 GitHub issue 输入的不足。框架包含可模拟不同行为模式的用户模拟器和评估其输出是否符合初始需求的对话验证器,整体嵌入 Harbor 环境,负责编排智能体、用户模拟器与验证器并执行测试环境。结果与源代码已在 GitHub 仓库公开。

  14. arXiv · cs.AI46

    图表作为认知动作:面向经验驱动的智能体数据分析

    一项 arXiv 预印本研究提出将图表作为数据智能体推理循环中的内部认知动作。团队构建了包含 200 个受控任务的 \probe{} 测试集,发现智能体能从自生成图表获得与数值输出同等的得分,但并不会稳定地主动使用图表。其提出的 \method{} 方法从轨迹 rollout 中蒸馏两类经验并经验证门筛选,在三个 held-out 基准、四个 LLM 骨干上提升分析准确率与视觉证据质量,且不改动模型参数。

  15. arXiv · cs.AI38

    并行 AI 智能体协作作为图结构分布式块优化问题

    一项 arXiv 研究将并行 AI 智能体的协作建模为具有可精确求值目标的离散块优化问题,证明最优分数染色可保留 1/χ_f(G) 比例的已验证局部改进,并给出智能体分配的线性规划与时间成本权衡。代码修复实验显示验证式合并可解决单个有效编辑组合后互相冲突的问题;在路线搜索智能体实验中,分数调度将实测墙钟时间中位数降低 15%。

  16. arXiv · cs.AI48

    Quant-Arena:面向量化交易研究的 LLM Agent 基准测试

    Quant-Arena 是一个基于真实 A 股数据的端到端量化研究基准与公开排行榜。模型构建特征和股票打分代码,仅在 2022-2023 数据上获得反馈,并将策略冻结后在密封的 2024 年数据上评估,计分以实际超额收益为主,辅以信号质量与特征多样性,评估器还纳入交易约束、成本及基于模拟订单簿估算的市场冲击。在九个前沿模型中 GPT-6 Astra 得分最高,但没有模型在 2024 年跑赢等权市场;该基准开放任何模型或 agent 框架提交。

  17. arXiv · cs.AI43

    Environment Duels:一个 LLM 共同进化的微观世界

    研究者提出动态智能体基准 Environment Duels,评估九个前沿 LLM 作为环境创建者与解题者的双重能力,发现解题与环境创作是两种不同的技能:最强解题者并非最强创作者,而较小的模型能写出最难的环境和最有用的提示词。在 Qwen3.8-27B 的强化学习研究中,模型在他人环境上的提示词提升能预测这些环境训练对 held-out 推理与智能体基准的改进。代码已开源。

  18. arXiv · cs.AI35

    CrashGym:用反事实市场崩溃衡量 LLM 智能体实验的决策价值

    arXiv 论文提出 CrashGym,一个可重放的限价订单簿模拟器,让 LLM 智能体在冲击触发崩溃前于实验室市场查询干预实验,再在去杠杆干预与流动性 backstop 之间做选择,并以 regret 衡量实验价值。在 24 个新采样世界的前瞻性研究中,实验室访问将 Luna 部署的平均 regret 从 8.878 降至 3.785,配对减少 5.092 效用单位,降幅 57.4%。整个评分通过直接模拟所有可行干预完成,无需人工或模型评审。

  19. arXiv · cs.AI43

    SpatialBrain:从经验中生长空间智能

    arXiv 论文提出 SpatialBrain,一个在视觉语言主干保持固定的前提下积累空间推理经验的框架。其 3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用工具流程,Spatial Cognition 关联任务条件与经验;完成的轨迹被抽象为过程记录并在任务块之间整合。在五个空间推理 benchmark 上,SpatialBrain 在四个上优于同主干的直接回答,在第五个上持平。