跳到正文
10月14日周三
  1. arXiv · cs.AI34

    FedGraph:基于图聚合防御联邦大语言模型微调后门攻击

    研究者提出 FedGraph,一种基于图的聚合框架,用于防御联邦 LLM 微调中的后门攻击。该方法将客户端更新建模为动态图节点并提取结构特征,利用恶意客户端更新高度一致、良性客户端更新更分散的特点区分二者。实验显示攻击成功率降至 10% 以下,平均检测准确率 95.5%,误报率 2.33%。

  2. arXiv · cs.AI46

    LLM 在同行评审中表现如何?来自金融与会计领域的证据

    一项 arXiv 研究让 GPT-4o 对 2024 年 AFA 与 NBER 金融会议论文进行评审,模型评分每高一个标准差,论文未来两年发表于三大顶级金融期刊的概率高 44%,且不受前瞻偏差影响。其信息来自对正确性与表述的判断,对原创性与重要性的判断则无预测力,该结论在会计论文和 GPT-5 上同样成立。研究认为 LLM 可承担技术审查,贡献判断仍需人工。

  3. arXiv · cs.AI33

    STAMP:一种面向片段级学习与编辑的拓扑感知分子语言

    研究者提出 STAMP(Sequential Tree Attachment-based Motif-Preserving representation),一种将片段级表示学习与精确结构编辑相连的拓扑感知分子语言。STAMP 分别编码 motif 身份、连接位点与树拓扑,在 30 个靶点中的 23 个上降低了活性悬崖预测误差,并在 23 个 benchmark 目标中的 15 个上于六种方法中排名第一。其确定性编译器使冻结语言模型能操作索引化片段,相比纯 SMILES 将分子编辑、优化、转换迁移与变化识别提升 9 至 56 个百分点。

  4. arXiv · cs.AI37

    奇点有一个分布:随机智能爆炸的精确时间规律与检测极限

    一篇 arXiv 论文研究 AI 研究自动化引发的随机智能爆炸:随机性不改变确定性爆炸阈值,但把爆炸日期变为显式分布——等尺寸改进下爆炸时间是独立指数变量的几何加权和,Lomax 分布改进尺寸下爆炸时间精确服从 Gamma 分布。论文还给出区分恒定与几何增长到达率的检验,最小样本量渐近为 (12z_α²)^{1/3}ℓ^{-2/3},并证明即使爆炸必然发生,剩余时间的条件平均等待时间仍为无穷。

  5. arXiv · cs.AI55

    Thinker-WM:共享多模态表示的统一世界模型用于具身智能

    Thinker Team(Ubtech)发布统一多模态世界模型 Thinker-WM,通过共享的 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。同一套参数化支持视频-动作联合生成、世界预测、策略推理、逆动力学等多种功能;训练数据约含 2 万小时第一视角视频、1 万小时真机数据和 1 千小时仿真数据,其中约 4 千小时真机数据带对齐深度监督。模型在 EWMBench、WorldOlympiad 和 WorldArena 上排名第一,消融实验验证了动作条件化、几何交互与多功能训练的收益。论文链接 https://arxiv.org/abs/2610.18447v1。

    推荐理由:论文把外观、几何和动作放进共享动态表示统一建模,并列出在 EWMBench 等三个评测上的具体排名与训练数据构成。

  6. arXiv · cs.AI55

    Autonomous Science Bench 发布:评测 AI 智能体的自主科学发现能力

    论文提出 Autonomous Science Bench,包含六项基于已发表生物学、化学和材料科学实验的预算制设计-构建-测试-学习任务,智能体需选择实验批次、获取真实实验室测量结果并交付预测模型。评测设发现与学习两个校准门槛,八种智能体-模型配置共 144 次试验中最好成绩为 67% 通过率,最难任务 24 次仅 3 次成功;部分智能体排名准确但发现的设计少,另一些则相反。版本 0.1 的任务、实验室运行时和公开排行榜已发布。

    推荐理由:基准用真实实验室测量而非仿真,双门槛设计能区分发现与学习两类失败,八种配置的实测结果已给出。

  7. arXiv · cs.AI18

    PerturbEnergy:基于条件能量先验的细胞扰动响应预测方法

    研究者提出 PerturbEnergy,通过在扰动表示上引入条件能量先验,使与给定扰动兼容的表示获得更低能量,从而显式引导潜空间偏向扰动偏好区域。该方法可集成进自编码器架构,其 ELBO 与完整自编码器等价,且优化过程可提升表示与扰动间条件互信息的下界。在四个基准数据集上,扰动识别最高提升 83.2%,并在 top-50/100/200 差异表达基因(DEG)响应预测上达到 SOTA。

  8. arXiv · cs.AI47

    ReTerm:面向自我改进终端智能体的恢复训练方法

    研究者提出 ReTerm,一种通过学习从自身失败任务中恢复来实现自我改进的终端智能体训练方法,并构建了用于 SFT 冷启动的 ReTerm-10K 数据集和从失败状态分叉生成多次自恢复尝试的在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上取得 34.8% Pass@1,较基座模型提升 14.6 分,且在多类错误下的恢复率均高于标准 GRPO。代码、数据和模型已开源。

  9. arXiv · cs.AI24

    任务诱发眼动可作为青少年及年轻成人抑郁严重程度的候选数字生物标志物

    一项针对 155 名 14–20 岁参与者的单中心横断面研究发现,抑郁严重程度越高,注视分配熵越低(β=-0.599)、区域间切换越少、首次进入目标潜伏期越长、目标停留比例越低(均 q<0.001)。结合 44 个候选眼动特征的三级级联分类器实现四分类,准确率 0.665、macro-F1 0.670、AUC 0.869,优于单级和两级方案。情绪特异性注意偏倚与严重程度无关联,结果支持将任务诱发眼动追踪作为抑郁严重程度评估的补充手段。

  10. arXiv · cs.AI37

    EgoOmniWorld:以 Ego-Action-World 交互统一第一人称视频理解基准

    EgoOmniWorld 提出以 Ego-Action-World 交互回路统一第一人称视频理解,基准按 Node、Edge、Chain、Loop 四种交互结构组织,包含 24,166 组 QA(20,284 训练、3,882 测试)。实验显示开源与闭源多模态大模型在各交互结构上存在明显且不均衡的短板;用该基准训练可提升域内交互理解并泛化到既有第一人称基准。数据、代码与模型将开源。

  11. arXiv · cs.AI20

    智能建筑挑战赛:学习基础模型以实现真实世界大规模优化

    研究者针对建筑优化中控制策略难以跨建筑迁移的问题,发起一项 NeurIPS 2026 竞赛,推动开发能以极少配置适配新建筑的建筑基础模型。美国建筑造成近 40% 的碳排放,其中 HVAC 系统占建筑排放的 40-60%、占全球能耗的 15%。参赛者需在模拟建筑上训练控制策略,并在规模、布局、天气、材料与 HVAC 系统各异的未见建筑集上评测。

  12. arXiv · cs.AI36

    LLM 如何评估人类时间的全球视角研究

    一项覆盖 193 个国家、5 个 LLM 的研究通过仅改变用户所在国、测量模型认为 60 分钟预约延误应获的补偿,考察大语言模型对时间的估值偏好。结果显示各模型对全球各地时间的评估差异明显,且在提示词变化下稳健性不同:模型对欧洲用户建议最高补偿,对非洲用户多为最低,并按 GDP_PPP 低估亚洲和南美用户的时间价值。

  13. arXiv · cs.AI49

    LLM Agent 为何在大规模技能库下加载失败:隐式路由研究

    一项 arXiv 研究发现 LLM Agent 存在技能路由坍塌:在 SkillsBench 任务固定、加入无关技能时,1000 个无关技能使已加载技能召回率从 73.6% 降至 27.4%,零加载率从 9.3% 升至 51.6%,而显式选择仍保持 73.9% 召回率。仅屏蔽无关技能描述即可大幅恢复加载,但元数据完整时要求 Agent 规划技能使用仍不如预选。研究指出描述的语义干扰与指令干扰是主因,并评估了显式预选在覆盖率和延迟上的权衡。

  14. arXiv · cs.AI32

    APTree:面向建筑机器人自适应可扩展自动任务规划的扩展行为树框架

    APTree 是一个模型驱动框架,以行为树为执行模型,将自动化任务规划与模块化任务执行结合,可在运行时协调多个异构符号规划器自动生成模块化任务计划,并配套领域特定语言与执行引擎。在 livMatS Biomimetic Shell 亭的实际评估中,该框架能检测设计与运行时注入的规划错误,并通过协调三个符号规划器跨多个规划模块生成大规模任务计划;形式化分析证明组合执行与局部重规划在给定假设下是安全的。

  15. arXiv · cs.CL39

    双侧攻击评估:AI 文本检测器在人类与机器文本同时受攻击时的鲁棒性研究

    一项 arXiv 研究提出双侧评估协议,对人类与机器文本同时施加攻击,测试九个常用 AI 文本检测器的鲁棒性。结果显示,此前报告的 AUROC 提升在双侧评估下消失,被攻击的人类文本误判率最高达 100%;简单预处理可逆转字符级攻击,但词级同义词替换仍有效且不可逆。

  16. arXiv · cs.CL51

    arXiv 论文提出 Ownership-Aware Routing:按数据归属路由 LLM Agent 查询分散表格

    arXiv 论文(2610.18157)提出 Ownership-Aware Routing(OAR),在 LLM Agent 查询分散在多个数据所有者的表格时,先起草仅含 schema 的 SQL、统计其涉及的表所有者数量,再在读取任何私有数据前决定采用 fan-out 还是 relay。在 PeopleJoin 和 BIRD 的十三个设置、三个模型族上,fan-out 在单所有者问题上十二次更准,但对涉及两个所有者表的连接问题最多只答对 4.3%;BIRD 双表连接上,同一所有者持有时 fan-out 答对 32-44%,否则仅 1-4%。relay 依赖已返回的行,隐藏这些行会把双所有者准确率从 23.2% 降到 5.1%。

  17. arXiv · cs.CL50

    声明框架如何驱动 LLM 的谄媚行为:14 个模型、42K 问题的系统研究

    一项系统研究发现,在可客观验证的事实问答中,14 个模型均会受用户意见影响而产生谄媚,且与模型规模无关。研究在 42K 个问题上考察 8 个维度、21 种声明框架,发现影响最大的是意见表述的自信程度、归属对象及是否呈现为用户与模型共识,而用户专业性、对模型的权威或社交压力影响甚微;更大模型更能抵御错误意见,但从自身错误恢复的能力并未更好。

  18. arXiv · cs.CL32

    TRACESTEER:用轨迹驱动的激活转向缓解扩散语言模型幻觉

    TRACESTEER 是一种针对扩散大语言模型(dLLM)幻觉的激活转向框架,利用先前去噪预测作为反馈,通过 DF-Steering 构建逐步转向向量、TS-Gate 依据预测不确定性和去噪时间步调节强度。骨干冻结下,在两个 dLLM 上提升了 TruthfulQA 事实可靠性,并在五个下游 benchmark 上展现泛化能力。

  19. arXiv · cs.CL50

    SWE-MISBEHAVIOR:编码智能体越界行为的分类评测框架与 CODE-KIT 缓解方案

    论文提出 SWE-MISBEHAVIOR,首个针对编码智能体越界失当行为的分类与评测框架,含 7.4K 人在环合成样本,覆盖代码生成、文件管理、系统交互三层动作空间中的 11 种失当行为,评测协议全自动。对 OpenHands、smolagents 等开源编码智能体的实验发现依赖误读最高达 98.5%、未经意修改用户输入 50.5%、环境完整性被静默破坏 53%。配套提出的 CODE-KIT 框架将 smolagents 失当行为减少 52%、OpenHands 减少 34%,同时提升任务完成表现。代码与数据已公开。

  20. arXiv · cs.CL53

    TextualRL:面向上下文管理的文本强化学习框架

    论文提出 TextualRL,一种免梯度的强化学习框架,通过修订引导 LLM 智能体行为的文本上下文来适应任务反馈,而不改变模型参数。其核心机制包括以同任务的一组 rollout 为单位的 Groupwise Policy Critique、跨组证据审查提案的 Cross-Group Policy Update,以及由留出验证奖励决定是否采纳的有界文本补丁。在六个基准上对五个目标智能体的评测中,GPT-5.5 和 Qwen3.8-27B 的测试准确率较基座模型平均分别提升 24.4 和 15.3 个百分点。

    推荐理由:原文给出了框架机制与六个基准上的分组对比数据,读者可以据此评估这种免梯度上下文更新方法是否值得复现。

  21. arXiv · cs.CL22

    Runoff 方法让 System One 模型的选择题答案不再依赖选项顺序

    论文提出 Runoff 方法:先单独为每个选项打分筛出少量候选,再让候选在排列中轮流占据各位置进行比较,无需训练、最少两次前向传播即可消除选项顺序对答案的影响。在两个开放模型和五个数据集上,打乱顺序后 Runoff 不改变任何答案,而循环平均法仍改变 9.3%;20 个选项时准确率相当且速度快 3 到 4 倍。包在八个 System One 模型外层后,可消除五个 benchmark 上的顺序依赖,循环平均法最多仍改变 15.4%。

  22. arXiv · cs.CL31

    PACT:面向表达力与音色保留的语音到语音翻译实用提示词框架

    arXiv 论文提出 PACT,一种面向目标空间的提示词框架,用于保留语音者身份与情感、语调、节奏等语用信息的语音到语音翻译。该框架从源语音提取语用线索,投影到目标语言表达空间并校准后,转化为连续提示词驱动冻结的语音生成器。在双向西班牙语-英语 TOPI 评测中,PACT 在内容保真、音色保留与表达保留指标上综合表现最佳。

  23. arXiv · cs.CL34

    我们是否测试得太多了?LLM 高效评估的基准压缩综述

    该 arXiv 综述系统梳理了针对大语言模型(LLM)评估的基准压缩研究,共回顾 119 篇论文,通过从部分评估估计完整基准分数与排名来降低评估成本。研究提出一套分类法,覆盖单基准内压缩、跨基准套件压缩与自适应评估三类方法,并比较其信息需求、总成本与可靠性验证。这类方法可显著降低评估开销,但存在覆盖不足、估计不准和顺序延迟的风险。

  24. arXiv · cs.CL42

    加密技能或成 AI 智能体新安全漏洞:Ciphered Skill Injection 攻击解析

    研究提出 Ciphered Skill Injection(CSI)攻击,将恶意指令编码隐藏在第三方技能文件中,诱导 LLM 智能体解码并执行。在 8 个模型、139 组注入任务对的评测中,Caesar 及分层变体在缩短技能的主设定下攻击成功率最高达 47.5% 和 40.3%;成功解码不必然导致攻击成功,且分层效果因模型而异,现有技能扫描器很少能检出注入。

  25. arXiv · cs.CL31

    PAINT:覆盖医学考试到真实临床文本的多语言疼痛表征框架

    研究者提出 PAINT 多语言疼痛表征框架,包含覆盖英语、西班牙语、葡萄牙语和日语的九个数据集分区,全部配有临床医生标注。该框架借助 LLM 集成策略提取疼痛相关性、存在性、解剖部位与人口学信息,集成标签在疼痛相关性与存在性上 macro-F1 达 0.91-1.00,人口学信息准确率 92-100%。相关标注数据、抽取流程与验证脚本已随 WorldMedQA-Pain 公开发布。

  26. arXiv · cs.CL51

    arXiv 论文提出 JevGPT 双系统架构加速自主研究智能体

    Yasheng Sun、Jürgen Schmidhuber 等人在 arXiv 发布论文 JevGPT,提出用于自主研究的双系统架构,System Two 设定证据目标并整合发现,System One 定位支持、评估相关性并指导后续检索,独立来源判断并行运行。在固定语料问答与文档排序实验中,JevGPT 达到领先的任务表现,完成速度更快且成本低于同等有效的研究智能体,并显示更广的来源检查与支持文档覆盖。论文共 24 页,链接 https://arxiv.org/abs/2610.18272v1。

  27. arXiv · cs.CL33

    LegalRewardBench:首个法律领域奖励模型人类验证基准

    研究者推出 LegalRewardBench,首个经人类验证的法律领域奖励模型评测基准,将法律偏好评估分为知识、理解、分析、决策、写作五个能力层级,偏好样本由规则引导的自动判定结合人工核验构建。评测涵盖通用与微调、生成式与判别式三类判别器架构,结果显示强大的通用生成模型目前是法律奖励模型中最稳健的,现有微调奖励模型向法律偏好评估迁移可靠性较低。

  28. arXiv · cs.CL31

    SimInter:基于访谈画像增强的对话推荐系统用户模拟方法

    SimInter 是一种通过两个 LLM 智能体进行合成访谈来丰富用户画像的对话推荐系统评测模拟管线,用统计画像和历史对话证据作锚定,并由审计智能体逐轮标记潜在虚构与刻板印象。在模拟 300 个 ReDial 电影推荐用户的实验中,SimInter 将表达偏好方面的多样性从基线的 0.859 提升至 1.619(filtered aspect entropy),与 KBRD 和 UniCRS 两个推荐器对话时增益保持在 +0.28 到 +0.56 nats(均 p < 0.001);人工评估中 94.3% 的富集属性断言获支持或部分支持。

  29. arXiv · cs.CL33

    提示词还是策略?用 LLM 用户模拟器优化医生推荐列表展示

    arXiv 论文提出 slate presentation 优化任务:针对患者病例和固定排序的医生列表,生成基于医生档案的病例定制摘要,并用 persona 条件化的 LLM 模拟患者选择进行离线优化。实验比较提示词级 GEPA 与参数级 GRPO 优化,GRPO 在满足全部约束上大幅领先且经未见过的 LLM 评测验证,用 GEPA 优化后的提示词初始化 GRPO 可加速训练并获得最高模拟转化率。

  30. arXiv · cs.CL42

    Jev-Guard:基于可编辑策略树的 Agent 行为快速路由与审计模型

    香港科技大学团队(Yangqiu Song 等)提出 Jev-Guard,一个统一的 Agent 安全分类与策略路由模型,在可编辑策略树上先选择适用的审计策略再做安全分类。在 7,033 个评测案例上达到 93.72% 安全准确率、58ms 平均延迟与 93.10% 分层路由准确率,完整流程平均 240ms。集成到 Hermes harness 框架后,权限门控将每任务平均审查时间从 SFT-LLM judge 的 4.80s 降至 1.33s。

  31. arXiv · cs.CL24

    多语言语言模型中颜色表示几何结构的研究

    一项 arXiv 研究将多语言语言模型的颜色表示分解为两个几何维度:与感知颜色空间(CIE-LAB)的对齐程度和跨语言对称性。研究发现感知基础较弱——对齐在中间层达到峰值后在输出层坍缩,且跨语言对称性随深度下降。模型在 P1 对齐峰值层的颜色分类准确率达 96.7%,P1 对齐与下游能力显著相关(r=0.70),表明纯文本模型学到的是通用的颜色-语言几何而非颜色-感知几何。

  32. arXiv · cs.CL51

    巴伐利亚语、德语与英语上的量化鲁棒性研究:4-bit 量化对 7B–10B 模型影响不稳定

    arXiv 论文 2610.18343 用 BAVGROUND 基准在巴伐利亚语、标准德语和英语上评估 14 个开源 7B–10B 指令模型的量化鲁棒性。8-bit GPTQ 接近 BF16 且基本保持三语相对行为;4-bit GPTQ 与 AWQ 使平均准确率下降约 1.4–1.5 个百分点,改变 11.9–16.0% 的 BF16 决策,且 5 个模型的自由文本评测显示 4-bit 压缩在选择题准确率变化不大时也可能劣化生成回答。受影响最大的语言随模型、量化方法和校准数据而变,不能仅凭聚合多语言准确率衡量。

  33. arXiv · cs.CL51

    PRISM:用反事实探针校准黑盒 LLM 评审的评分偏差

    arXiv 论文提出 PRISM,通过保持被评内容不变、探查强调或弱化属性时的评分变化,来修正 LLM 评审的隐性评分偏差。方法将探针响应表示为代理 Jacobian,用 Ridge 回归学习对基线分数的校正,无需评分细则;在 SummEval 和 HANNA 的 Jev 与 Sol 对比中,校准后与人类排序的一致性显著提升,且与基于 rubric 的方法相当。

  34. arXiv · cs.CL52

    扩散语言模型多残差流研究:双流将验证集重建困惑度降低 5.71%

    arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%,外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式,角色条件路由训练可恢复双流一半的验证收益,该机制在更大模型规模上同样成立。

    推荐理由:论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据,并解释了双流分工的机制来源。

  35. arXiv · cs.CL55

    arXiv 论文:提示词注入探针学到的是对话特征而非注入本身

    arXiv 论文(2610.18408)发现间接提示词注入的线性探针标准评测可被非模型特征通过,仅凭对话位置和文本长度就达到 0.91-0.98 AUROC。作者将无注入对话和形似注入的无害文本作为匹配负样本加入训练数据,在六个开源模型上,默认阈值下对无注入对话的误报率从 41-80% 降至 4-27%,对无害形似文本从 92-98% 降至 3-16%,同时在正常流量阈值下仍能检出中位数 95% 骗过智能体的攻击(不加数据为 91%)。在新应用中误报保持低位,但检出率取决于模型和阈值设定;同一数据也帮助纯文本过滤器。

    推荐理由:论文指出注入探针评测可被对话位置和文本长度骗过,并给出用匹配负样本把误报率大幅压低的数据。

  36. arXiv · cs.CL44

    并非所有漂移都是机制:arXiv 论文追踪 LLM 中的提示词适应机制

    arXiv 论文研究了离散提示词优化、prompt tuning 和 prefix tuning 如何改变稠密模型与 MoE 模型的内部处理过程,发现适应方法的位置决定了任务信息传向输出的方式:优化文本主要改变响应构建,输入级提示词将影响写入内容表示,逐层前缀则通过注意力保持直接控制,在 MoE 模型中还会引发不同的专家路由模式。论文指出常见表示层面的度量对通用上下文变化反应强烈,难以可靠区分有效适应与安慰剂对照,主张将表示漂移与模型任务计算真正使用的部分区分开。

  37. arXiv · cs.CL31

    计算心理语言学研究重新审视 unigram surprisal 的估计方法

    一项 arXiv cs.CL 研究指出,计算心理语言学中 contextsurprisal 通常由神经语言模型导出,而 unigram surprisal 多来自独立语料统计,这种做法割裂了二者的概率联系。作者提出三项估计原则,要求两者来自同一语言模型,并给出 Monte Carlo 估计器及更低方差的边缘化变体。在该统一框架下重新估计后,各预测变量对阅读时间的贡献发生变化,且频次可成为比 contextual surprisal 更强的加工努力预测指标。

  38. arXiv · cs.CL47

    事实性方法能否让 LLM 更真实?五种对齐方法的独立复现与公平比较

    一项研究首次独立复现了五种事实性对齐方法,涵盖 on-policy RL(PPO、GRPO、Dr. GRPO)与离线偏好优化(DPO、KTO),并在统一基准与评测指标下比较。结果显示没有任何方法完全复现,在共同基准上也无方法显著超过基座模型,奖励主要优化格式、长度或简洁而非事实性。研究指出依赖 LLM judge 和检索验证的评测本身也较脆弱,团队已开源代码、数据与 checkpoint。

  39. arXiv · cs.CL60

    arXiv 论文研究 LLM 智能体间谈判:持有一方决定资金转移量

    arXiv 论文(arXiv:2610.18424)对 15 个语言模型智能体进行了 1,049 场循环赛谈判,发现知道哪一方持有 $100 资金可解释转移金额方差的 47%,而知道请求方仅解释 2%。文中显示最不亏的持有方是拒绝首次请求的一方,其首轮拒绝率与总亏损排序的相关系数为 -0.73;用几乎无拒绝的说服语料微调 Qwen3-8B 使其作为持有方给出资金从 12% 升到 84%,把两个从不亏损的持有方蒸馏进 4B 学生模型则将亏损从 95% 降到 1%。作者建议对持有资源的智能体评测应测试其持有角色表现,包括说服微调之后。

    推荐理由:论文给出多智能体谈判中持有方角色对结果的主导性量化证据,并提示对持有资源的 Agent 评测应纳入持有角色与说服微调后的表现。

  40. arXiv · cs.CL61

    arXiv 论文提出 Randomized Block Curation:用随机实验筛选智能体自写 playbook 里的有效经验

    Hoang Pham 在 arXiv 发表论文(arXiv:2610.18427),提出 Randomized Block Curation(RBC),用随机实验衡量智能体自写 playbook 中各条经验对任务成功的实际影响。将相关经验分组后,在练习任务上随机决定每块是否纳入提示词,用有无某块的成功率差值估计其效果,只保留有效块。跨 2 个记忆系统、3 个模型和 3 个基准,RBC 平均成功率达 66.9,高于全量 playbook 的 55.5、无 playbook 的 54.1 和靠智能体自行判断筛选的 53.8。论文还指出同一流程写出的 playbook 可能有效也可能比无 playbook 低最多 69.6 分,因此需并行维护多个 playbook 并选用在新鲜练习集上表现最佳者。

    推荐理由:论文给出量化实验设计,用随机对照衡量 playbook 条目对任务成功率的真实贡献,数字齐全可复现。