跳到正文
10月16日周五
  1. arXiv · cs.CL43

    AutoSFT:用于监督微调自动化数据研究的多智能体系统

    研究者提出 AutoSFT,一个用于监督微调(SFT)数据自动化研究的多智能体系统,由 meta agent 分离执行与分析,并调用 synthesis 子智能体补充数据池无法覆盖的操作。相比单智能体,executor 将上下文丢失减半,分析子智能体使 IFEval 提升 +6.5,合成再加 +3.4 IFEval 和 +2.9 IFBench;同一流程迁移到代码任务可带来 +3.7 MBPP+。所有结果均基于每轮从基座模型重新训练,结论表明自动化 SFT 数据研究更依赖覆盖多样化的数据操作。

  2. arXiv · cs.CL48

    MindEval2:基于临床依据的患者模拟与评分标准,用于评估语言模型的心理健康支持能力

    研究者推出心理健康支持评估框架 MindEval2,包含与博士级心理学家合作开发的 MHQR 评分标准和患者模拟组件 MindSim,后者带有跨轮次记忆以建模纵向心理健康过程。该框架评估了 18 个闭源和开源权重模型,发现前沿模型在表层质量和边界问题上已大幅改进,但指导校准仍是所有模型的主要失败模式,占质量差距的大部分。

  3. arXiv · cs.CL45

    用集合级强化学习训练推理模型生成多样化科学想法

    arXiv 论文提出集合级强化学习目标,让模型一次生成 K 张基于源论文、彼此明显不同的结构化想法卡片,质量按与前文想法的距离加权。训练后的 8B 模型在无污染 benchmark 上的 creative utility 超过 Claude Opus 4.8 和 GPT-6 Astra。四位专家试点评估认为其想法集与 Claude Opus 4.8 相当且独特想法略多,coding agent 验证的 success@k 也与之相当。

  4. arXiv · cs.AI31

    HTN-Orchestrate:一个用于多智能体编排的分层任务网络框架

    HTN-Orchestrate 是一个两层多智能体编排框架:Planner 通过分层任务网络(HTN)维护子任务层级与依赖,本地 Orchestrator 调度 worker 执行叶子子任务,结果按 AND 语义向上传递,必要时重建任务网络。在网页研究、科学推理等五项 benchmark 上,它使用相同底座模型超越 ReAct、Agent Team 和 DeepSeek Harness,BrowseComp 达 89.73%,SUPERChem 达 73.44%,分别超出 Agent Team 2.45 和 4.69 个百分点。

  5. arXiv · cs.AI38

    基于序贯拍卖的去中心化 LLM 工作流框架研究

    一项 arXiv 研究提出通过序贯拍卖构建去中心化智能体市场来解决多步任务。该框架突破了此前理论要求“完美克隆体”的完全竞争假设,证明缺乏竞争同样会导致市场失灵;在不完全竞争下,智能体学会策略性压低出价以保留利润。研究评估了 Mirror Descent、Thompson Sampling、Bayes-Optimal 和 PPO 四种出价算法及 1st-Price、2nd-Price、Credit-Conserving Vickrey 三种拍卖协议,结果显示不完全竞争能在维持高任务成功率与低成本的同时保留智能体利润空间。

  6. arXiv · cs.AI57

    OS-Helix 论文:统一 GUI 操作与代码执行的端到端原生计算机智能体

    arXiv 论文 OS-Helix 提出端到端训练的多模态计算机使用智能体,把 GUI 操作和代码执行统一到一个动作空间。通过应用与真实文件配对构建可执行 Ubuntu 环境和可验证任务,先 SFT 冷启动再在真实桌面环境做在线 RL,提出 Step-balanced GSPO 按动作步聚合重要性权重;OS-Helix-27B-RL 在 OSWorld-Verified 上成功率达 66.44%,比匹配的 Qwen3.5 混合基线相对提升 42.9%,并在 WindowsAgentArena 上展示跨平台迁移。

    推荐理由:论文给出 GUI 与代码执行统一到单一动作空间的训练方法,以及 Step-balanced GSPO 等具体做法和消融证据,可迁移到同类 Agent 研究。

  7. arXiv · cs.AI56

    arXiv 论文提出 Agent 安全评测中的捷径敏感性三层审计框架

    Hasan Demirkiran 在 arXiv 发布论文(arXiv:2610.22243),提出三层 shortcut 审计框架,审计 LinuxArena 轨迹和两个 TS-Bench 衍生数据集,已被 NeurIPS 2026 工作坊 TAE 与 AIWILD 接收。实验显示改变 <INFORMATION> 标记使拦截率下降 8.33 个百分点,不透明工具别名使其上升 11.46 个百分点;AgentHarm-Traj 上 TS-Guard 的 F_1 从 .902 降至 .719。作者建议采用域分组 holdout、评估单元指标和安慰剂对照配对干预。

    推荐理由:论文给出shortcut审计框架与配对干预实验,说明评测数据表征如何改变guard决策和指标,方法可直接借鉴到自建评测。

  8. arXiv · cs.AI37

    无需真值监督:基于模型分歧的弱到强路由方法

    一项 arXiv 研究(arXiv:2610.22245)提出用模型间分歧信号指导弱模型到强模型的路由,无需正确性真值标注。该方法先刻画最优弱到强路由策略,再基于多个弱模型本地推理响应推导出近似方案,且强模型越接近真值分布近似越准确。在智能体与单轮任务上,该方法能平衡路由成本与响应准确率,即使有真值信号可训练,分歧路由也可优于直接预测正确性的方法。

  9. arXiv · cs.AI26

    X-RIC:一个面向智能体 RAN 智能控制器的增强强化学习 Benchmark

    X-RIC 是一个将智能体 AI 融入 O-RAN 架构的新框架,把响应式强化学习与策略性智能体推理结合,包含基于领域启发式的自动化 Behavioral Cloning、Telecom Language Model 推理模块,以及 Near-RT RIC 控制环内的闭环协同适应。配套的 BARX 评测框架从延迟、合规性和确定性等指标评估智能体控制。在 SLA 感知网络切片的仿真与 O-RAN 兼容测试床验证中,X-RIC 实现 89% 运营成本下降,收敛快 75%、训练步数减少 50%、方差降低 46%,且保持 SLA 合规。

  10. arXiv · cs.AI56

    Librarian Agents 论文提出用强化学习训练 LLM 预先整理长上下文工作区

    论文提出 Librarian Agents 框架,由 builder agent 把原始文档整理成层级化合成文件工作区,并将构建过程建模为 MDP、用强化学习直接优化下游答题准确率。方法在 BrowseComp-Plus 上比最强检索与预计算基线高 33 个百分点,并在 BRIGHT 上零样本泛化,平均准确率提升 31 点。

    推荐理由:论文把工作区构建建模为 MDP 并用 RL 直接优化下游答题准确率,方法路径和基线对比对长上下文 Agent 研究有可迁移参考。

  11. arXiv · cs.AI42

    研究解析:脚手架为何仍能提升环境无关编码智能体表现

    一项研究用 Codex 智能体在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上对比两种几乎相同的提示词变体,仅改动一条“报告困难并交还控制权”的指令即可提升前两个环境的平均分。但即使搭配 GPT-5.6-sol,通用智能体仍低于 ARC-AGI-3 专用参考方案,把 reset 决策交给脚本控制器可挽回部分差距,额外教程经验反而可能降低 AGI Maze 表现。收益同时带来更高的 token 成本,作者发布了 EnvTraverse 框架与基线智能体。

  12. arXiv · cs.AI41

    学习引导 LLM 智能体与多智能体系统

    研究者提出一种 steering agent,用于实时监督基于 LLM 的单智能体与多智能体系统,在其偏离整体目标(goal drift)时将其拉回正轨。该方法通过强化学习联合训练低成本快速路径与高成本慢速路径,结合成对排序目标与 GRPO。在信息搜索任务上的实验显示其能提升单智能体与多智能体系统的性能和效率,且引导能力可泛化到域外任务、迁移到未见过的执行器,并支持无需重训的可控干预频率。

  13. arXiv · cs.AI65

    四个 Gemini 4 Argon 智能体自主通关 Minecraft

    研究者将四个 Gemini 4 Argon 智能体放入沙盒化的 Minecraft 生存世界,目标是击败末影龙,每个智能体通过开源库 Mineflayer 控制一名玩家,靠游戏内聊天和共享记忆协调,没有人类分配角色或编写游戏逻辑。团队从随机生成的 Easy 难度世界出发,编写了 2,783 个程序,死亡 605 次,用 27 小时 14 分钟击败了末影龙。作者称这是据其所知首次由 AI 智能体仅用标准 Mineflayer 库、无预探种子等人类专用工具完成的端到端自主通关,论文还描述了分工、知识共享、互相恢复物品等策略与结果局限。

    推荐理由:论文给出了完整运行数据与协作策略描述,读者可以据此了解多智能体长时程自主任务的实际做法和局限。

  14. arXiv · cs.AI45

    市场化后训练让去中心化 Agent 集群学会自组织协调

    研究者提出市场化后训练(MPT)框架,让去中心化 Agent 集群通过投标机制联合学习动作策略与自组织协调,无需中央协调者。该框架在具身合成、机器人导航和深度研究任务上优于单体后训练,且在相同动作策略下,学到的自组织优于其他协调策略。训练后的集群对相关任务适应更快,在更大规模和 Agent 掉线时表现更稳健,代码和模型已开源。

  15. arXiv · cs.AI46

    KnowGPO:面向搜索智能体的知识分组策略优化

    研究者提出强化学习框架 KnowGPO,将轨迹按已获取的任务相关知识而非表面观察对齐:把回答所需信息分解为原子知识条件,以相邻步骤间的知识增益作为过程奖励,并按相同知识状态分组比较。在 Xbench、BrowseComp-ZH 和 GAIA 上,KnowGPO 比仅用结果奖励的 GRPO 及过程监督基线 GiGPO、IGPO 高出 3.8 至 4.2 分,其 8B 模型可匹敌或超过多数 32B 开源系统。

  16. arXiv · cs.AI39

    3DCodeVerse:以代码形式探索 3D 世界的研究生态

    研究团队推出 3DCodeVerse,一个让 coding agent 大规模生成可编辑、可验证 3D 内容的研究生态。它包含 200 万规模的可执行 3D 代码数据集 3DCodeVerse-2M,以及基于多智能体有向无环图的 3DCodeVerse Harness,通过执行检查、空间测量和视觉反馈自动评估并修订生成程序。在均由 Claude Opus 5.5 驱动的成对人类评测中,该 harness 对 Claude Design (3D Object) 取得 90% 胜率,微调开源模型也显著提升 3D 编码能力。

  17. arXiv · cs.AI53

    FDE-Gym 基准发布:评测 AI 智能体的真实客户交付能力

    arXiv 论文提出 FDE-Gym 基准,包含来自 20 个真实客户场景、18 个行业的 95 个端到端交付任务,考察智能体澄清模糊需求、发现未言明约束并在生产级系统上交付方案的能力。评分以客户自身成功指标的改进归一化(0 到 1),并对与利益相关者的交互(消息、试运行、等待时间)施加惩罚;同时评测了 7 家提供商的 13 个模型配置,最佳配置平均分 0.56,仅完成 14/95 个任务(得分至少 0.8 且无事故)。主要瓶颈是发现未言明约束,但即便在 23 个拿到全部关键事实的任务上,最佳配置也只有 10 个达到 0.8 以上的业务提升,显示解决明确任务与真实客户交付之间存在显著差距。配套有在线练习平台、代码和数据。

    推荐理由:基准把交付结果量化为对客户业务指标的改进,还给出 13 个模型配置的实测对比和瓶颈定位,便于评估真实交付能力差距。

  18. arXiv · cs.CL54

    System1-Arena:评测哪些决策可以交给 System 1 模型

    论文提出 System1-Arena 基准,统一给模型相同的决策请求并按概率打分,考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境,评测 30 个模型;最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM,延迟仅四分之一,推理型 LLM 最准确但成本约为快速 LLM 的 70 倍,闭环中大型开源 LLM 成功率最高(至多 32.9%)。

    推荐理由:论文用统一基准量化 System-1 与 System-2 模型的决策分工,读者可借此判断哪些决策不必走生成式推理。

  19. arXiv · cs.CL44

    TRACER:面向 LLM Agent 的轨迹感知工具检索方法

    TRACER 是一种检索前端,用 trie 索引观察到的 tool-call 序列并结合经验与上下文先验对延续排序。在 retail-telecom 混合 $\tau^2$ 环境中,它将 GPT-5.4 的工具选择准确率提升 4.7 点,每步输入 token 减少 80%,仅暴露 128 个工具中的 5 个。跨 6 个环境和 4 个模型,24 组模型-环境对中 21 组优于全注册表选择,平均提升 6-10 点。

  20. arXiv · cs.CL37

    多智能体聚合中的偏差控制与注入

    一项 arXiv 研究提出面向 LLM 多智能体推理的测试时聚合框架,无需验证数据或模型强弱先验。框架通过对每个不同答案呈现风格归一化推理轨迹实现偏差控制,并将各智能体初始答案置于少数位置实现偏差注入,把决策不稳定性作为可靠性信号。该框架在三个数学推理 benchmark 和四种异构 LLM 组合上,比非 oracle 聚合方法平均准确率更高、token 效率更好,并能提升多智能体辩论与 Mixture-of-Agents 的最终答案准确率。

  21. arXiv · cs.CL45

    DocPilot:面向长视觉文档理解的交互式智能体编排与训练

    DocPilot 是一个智能体文档框架,通过页面级导航与细粒度证据定位编排证据检索,并整合局部视觉检查、代码化数值推理和跨模态推理,使小语言模型也能学会复杂的文档求解。其课程式智能体训练从单一能力学习渐进到自适应编排。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上,DocPilot 搭配前沿 VLM 取得显著提升,DocPilot-4B 对比大得多的模型也具备竞争力,代码已开源。

  22. arXiv · cs.CL32

    OpCredit:面向智能体知识图谱问答的操作感知策略学习

    论文提出 OpCredit,一个面向智能体知识图谱问答(KGQA)的操作感知策略学习框架,解决轨迹级奖励无法区分单个操作贡献的问题。框架结合两种信用信号:Branch Outcome Credit(BOC)在匹配导航上下文下比较不同操作后的最终任务奖励,Frontier Transition Credit(FTC)衡量操作引起的答案条件前沿势变化。在 ComplexWebQuestions、WebQSP 和 GrailQA 三个数据集、三种骨干模型上均取得一致性能提升,推理阶段仅使用学习到的策略和标准 KG 接口。

  23. arXiv · cs.CL43

    OPRD:面向长程编码智能体的在线策略提醒蒸馏方法

    研究者提出 On-Policy Reminder Distillation(OPRD),通过 Multi-Scope Reminder 监督结合基于结果的路由,改进仓库级长程编码智能体。在 SWE-bench Verified、SWE-bench Pro 和 SWE-bench Multilingual 上,OPRD 较开源 Qwen3.5-4B 基线平均任务解决率提升 11.3 个百分点,聚合错误事件数从 446 降至 222,减少 50.2%。推理阶段学生模型无需 Reminders 即可运行。

  24. arXiv · cs.AI46

    智能体需要新型论文吗?SPRA:面向智能体的结构化论文表示

    arXiv 论文提出 SPRA(Structured Paper Representation for Agents),一种以研究对象和类型化关系组织的论文级结构表示,并在超 100 万篇 AI 论文上实例化,含 19.95M 研究单元和 24.07M 内部关系。通过 Schema-RAG 访问时,SPRA 在七个子领域上使源条件科学问答较段落检索提升 0.381/5,配对任务的 input+output tokens 较段落检索减少 28.5%。该资源可通过 SciVerse 平台获取。

  25. arXiv · cs.AI32

    TIR-EC:用工具集成强化学习激励 LLM 进行急诊入院后护理预测

    研究者提出 TIR-EC,一个工具集成强化学习框架,让 LLM 将 EHR 特征组作为工具调用,并以梯度提升树教师提供参考工具集和分级风险目标进行奖励,通过反向课程把临床技能蒸馏进模型权重。在三项临床预测任务上,其 4B 智能体取得所有对比模型中最高的 macro F1,超过传统 ML 基线,可与更大的前沿 LLM 竞争,且用更少的工具调用选出更有用的证据。

  26. arXiv · cs.AI45

    SpecAgent:用语义验证实现工具调用智能体的轨迹级投机

    SpecAgent 是一种智能体协作协议,将强模型从逐步生成者变为弱模型草稿的审查者:弱模型执行只读工具调用起草步骤,强模型通过单次 prefill 语义验证并提交最长有效前缀。在 τ²-Bench 上其成功率与强模型相差不到 1 个点,同时将内存流量和墙钟时间约减半;在 AutomationBench、VitaBench 上可挽回 44-75% 的质量差距,在 MCP-Atlas 端云部署中缩小 53-75% 差距且强模型 token 生成量最多减半。

  27. arXiv · cs.AI31

    工具增强大语言模型实现患者病历的可靠医学计算

    研究者提出一种工具增强 LLM 框架,将计算器规则与算术执行分离为确定性工具,并用受限提取器把病历映射为可计算输入。在 MedCalc-Bench 上达到 86.73% 最终答案准确率,分别比 one-shot 提示和监督微调基线高 24.0 和 17.27 个百分点。消融显示增益主要来自基于规则的工具合成与 schema 约束提取,该方法可缓解算术幻觉。

  28. arXiv · cs.AI35

    ISW-Agent:结合 LLM 对话与 n8n 工作流的内孤立波遥感图像处理系统

    研究者提出 ISW-Agent,将 LLM 解释与 n8n 工作流及独立科学模型结合,用于内孤立波(ISW)遥感图像处理。在每种后端各 120 条中文指令测试中,GPT-5.6 Sol 和 DeepSeek 均达到 94.2% 的严格任务匹配率;50 个定时场景中 39 个完成检测、条带提取与传播预测,中位耗时 48.04 s。3,408 次故障注入测试中,重试恢复 234 次瞬态故障,输出验证拦截 234 个结构缺陷。

  29. arXiv · cs.AI52

    QREF:通过查询改写与证据过滤提升 DeepSearch 智能体

    研究者提出 QREF,一个即插即用的查询改写器与证据过滤器,通过 SFT 初始化并用强化学习在真实网络搜索环境中优化,缓解 DeepSearch 智能体检索意图错位与噪声累积问题。方法在四个基准上平均将 WebSailor 的 Pass@1 相对提升 33.55%、TongyiDeepResearch 提升 11.04%,无需修改架构或重训推理策略;RL 训练的改写器比原始骨干减少 95% 缺乏判别性检索锚点的查询批次。论文地址 https://arxiv.org/abs/2610.21512

    推荐理由:论文给出即插即用的查询改写与证据过滤方案,不改架构即可提升 DeepSearch 智能体表现,数字与对比数据齐全。

  30. arXiv · cs.AI43

    Poison Valleys:诊断 LLM 代码修复中的路径依赖式失败

    Poison Valleys 方法在两个合成 Python 案例的 1,844 次模型请求中,追踪代码修复智能体失败时上游错误机制与失败形式的关联。研究发现,将错误机制从假设阶段移到实现计划阶段,使 PersistQueue 失败率增加 32.2%,Dijkstra 增加 28.9%。不同错误机制产生了不同的、依赖模型的义务违反模式。

  31. arXiv · cs.AI25

    Agent Status Protocol (ASP):多智能体系统状态报告的轻量级规范

    论文提出 Agent Status Protocol (ASP) 0.1 版提案,定义异构 AI 智能体向状态服务器上报运行状态的轻量级规范:智能体通过 HTTP POST 推送小型 JSON 事件,服务器经 Server-Sent Events (SSE) 向观察者(如仪表盘)推送状态变化。ASP 不依赖自报告,可从缺失心跳推断存活、检测仍存活但不再推进任务的智能体,并接受 supervisor、guardrail 等外部观察,状态沿 lifecycle、health、task、floor、governance 等独立维度建模。

  32. arXiv · cs.AI43

    DialFork:超越事实性,评估对话智能体的程序性幻觉

    研究者提出 DialFork,首个在原始对话文本上衡量“程序性幻觉”的 benchmark,即智能体语句流畅且事实合理但偏离预期对话流程。该基准通过在受控轮次分叉对话并注入四类幻觉,构建了覆盖 12 个领域 24 个任务的 36,278 段对话,由 30 名人类标注者验证;并提出 FlowKL 与 FlowScore 两个对话流感知指标,其中 FlowScore 在七个编码器上均显著超越基线。DialFork 以 MIT 许可证开源发布。

  33. arXiv · cs.AI28

    硬件设计中 LLM 驱动功能覆盖率收敛的独立数据完整性验证

    arXiv 论文提出一个 LLM 覆盖率收敛 agent,用 cocotb-coverage YAML 从仿真报告读取覆盖率,并由独立于模型的 scoreboard 检查数据完整性。在异步 FIFO、UART 发射器和 AHB2APB bridge 三种 RTL 设计上,该 agent 在 8 次迭代预算内将覆盖率从 91.7%、88.9% 和 67.4% 提升至 100%。作者承认证据存在局限:仅三种设计、无基线、无消融实验,且 LLM 生成测试的数据完整性尚未经独立校验。

  34. arXiv · cs.AI50

    研究重新审视多轮工具使用中工具图记忆的作用

    arXiv 论文 2610.21571 在九个模型和两个基准上评估工具图记忆(tool graph memory),发现其很少显著优于基线,且有限收益需付出两倍以上的 LLM 调用成本。其引导往往不正确,随机或无引导也能保留大部分收益,表明收益源于额外计算而非记忆本身;将同样经验存为文本洞察几乎不增加调用且效果更好,作者据此建议记忆宜作为软先验而非规定下一步工具。

  35. arXiv · cs.AI40

    评估 LLM 智能体的探究学习能力:假设、推理与探索

    一项发表于 EMNLP 2026 (Findings) 的工作提出统一交互式评估框架,将 Countdown 任务扩展为数学环境,让 LLM 智能体通过操纵变量、收集观测来推断变量间关系。跨 7 个 LLM 和多种提示策略的实验显示,模型内在探究能力有限,发现底层表达式的成功率低;借鉴教育脚手架的结构化指导可显著提升表现。

  36. Hugging Face Blog48

    Granite Switch 4.1 发布:单一端点同时支持对话、决策与语音转写

    Hugging Face 发布 Granite Switch 4.1(Granite-Switch-4.1-8B 与 -30B),将 Decision aLoRA、Guardian aLoRA 和 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进单一模型,VRAM 占用与基座模型相当。得益于 cache-efficient Activated LoRA 与 vLLM 低秩适配推理加速,模型可在对话、决策与语音请求间高速切换;用户也可用 Granite Libraries 适配器自行组合模型,团队还计划在 Mellea 中发布 Adapter SDK。

  37. Hugging Face Blog75

    Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,约 816B 参数、42B 激活

    Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。

    推荐理由:官方博客给出完整架构参数与多套部署配方,从 llama.cpp 量化到 TRL 微调实测数据都有,可按需选路径复现。

10月15日周四
  1. Hugging Face · 趋势模型71

    上海AI实验室开源 Sage-A1.5:35B MoE 智能体模型,GAIA 达 95.1

    上海AI实验室在 Hugging Face 开源 Sage-A1.5,一个 35B MoE 智能体模型,支持子智能体并行编排、可选验证模式和原生函数调用,原生 256K 上下文可经 YaRN 扩展到 512K。官方评测称其在 XBench-DS-2510(92.0)、IFBench(81.6)等多个基准取得 SOTA,GAIA 达 95.1,高于所对比的 Kimi-K3、GLM-5.3、GPT-5.6-sol 等更大规模模型;相比 A1,SWE-bench Pro 提升 17.6。评测框架已开源,SGLang 和 vLLM 部署命令见模型卡(arXiv: 2610.28578)。

    推荐理由:官方模型卡同时给出与 35B 同级和更大模型的横向跑分与完整评测代码,读者可以按同一协议复现或对比。

  2. arXiv · cs.AI48

    Doc2Harness:评测编码智能体长程 harness 工程能力的基准

    中科院研究团队提出 Doc2Harness,首个直接评测 LLM 智能体长程 harness 工程能力的确定性两阶段基准。在 328 个测试用例上对 19 个前沿模型各做 3 次独立构建,GPT-6 Astra 以 53.05% 通过率居首,最弱模型为 27.44%;即使最强模型也失败近半数用例,失败集中在跨模块功能划分上。