跳到正文
10月15日周四
  1. arXiv · cs.AI58

    语言智能体协同演化行动与预测的训练方法登上 arXiv

    arXiv 论文 2610.20597 提出一种为语言智能体引入多步动作目标的训练方法,在成功轨迹上训练策略骨干生成后续动作序列,并从历史预测每个动作形成时间集成,使行动与预测协同演化。在 ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld 五个基准上,该方法整体表现超过 GRPO 及带预测辅助目标的 RL 基线,在 ScienceWorld 上样本效率分别比 ECHO 和 GRPO 高 1.9 倍和 2.0 倍,且只用单一策略骨干,推理时无额外开销。代码已开源。

    推荐理由:论文给出多步动作目标的训练方法,在五个基准上对比 GRPO 等基线并报告样本效率倍数,方法可复现且代码已开放。

  2. arXiv · cs.AI56

    HiRe-MoMa:基于稀疏人工引导的移动操作真实世界微调框架

    论文提出 HiRe-MoMa 框架,用于移动操作(MoMa)系统的真实世界高效微调。其分层残差架构在冻结基础策略上学习增量修正,并将残差拆分为移动底盘与机械臂两个头以缓解梯度干扰;Expert-Guided Value Alignment 利用覆盖率不足 20% 的稀疏人工干预重塑 critic 价值函数。在 TIAGo++ 平台上的实验显示,约 30 分钟在线交互即可持续提升任务性能,且不依赖基础策略架构。论文被 CoRL 2026 接收。

    推荐理由:论文给出在真实机器人上微调移动操作系统的分层残差框架,用不到20%覆盖度的稀疏人工干预提升样本效率。

  3. arXiv · cs.AI42

    用扩散模型建模人形机器人策略的神经网络权重

    研究者提出用 latent diffusion 框架直接生成人形机器人控制网络权重:线性自编码器将 actor 网络参数压缩到潜空间,Diffusion Transformer 建模其分布。模型在 Unitree G1 强化学习训练得到的网络上训练,生成的网络可在真实世界执行行走、跳舞、回旋踢等动作。分析发现第一层权重结构在 RL 与模仿学习训练下均反映机器人运动学先验。

  4. arXiv · cs.CL57

    MultiPartyTurnBench:评测多方语音对话中话轮控制的基准发布

    作者发布 MultiPartyTurnBench(MPTB),包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型,评测话轮结束(EOT)检测与打断(INT)检测两项任务。基线模型 EOT 召回率达 82.5-92.6%,但五个全双工智能体在选择性打断处理上接近随机水平(46.9-54.7%),Gemini-3.8-Live 对 97.7% 的附和信号让出话轮,MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。

    推荐理由:基准把真实话轮转换与易混淆的非事件分开评测,并给出五个全双工智能体在选择性打断上的具体短板数据。

  5. arXiv · cs.CL42

    RM-OPD:用在线蒸馏训练生成式奖励模型

    论文提出 RM-OPD,一种基于在线蒸馏(On-Policy Distillation)的两阶段生成式奖励模型训练框架,用于替代混合域偏好数据上的 Mix-RL 方法。该框架先通过单域 GRPO 微调训练各领域专家教师模型,再经路由在线蒸馏、域贡献重加权及可选的 criteria context distillation 将其整合进一个学生模型。在多个 RM benchmark 和两个基座模型上,RM-OPD 持续超越 vanilla Mix-RL 等基线,并出现"超越教师"的涌现效应。

  6. arXiv · cs.CL47

    TreeSpark:为推测解码学习“可验证的”草稿树

    TreeSpark 是一个扩展 DSpark 半自回归架构的推测解码训练与推理框架,通过单次 backbone 前向构建父节点条件候选树,并用 survival NLL 与 capped coverage hinge 两个目标监督树的扩展、剪枝与打包,无需额外 target 前向。在 Qwen3-4B 与 Qwen3-8B 上的九个通用基准和六个写作域评测中,TreeSpark 较 DSpark 将平均接受长度提升 23.4%–31.6%,单请求吞吐提升 15.1%–25.0%,批量 Qwen3-4B 吞吐提升 12.6%–17.2%。

  7. arXiv · cs.CL52

    arXiv 论文:跨模型 in-context 神经反馈揭示 LLM 对自身激活的控制能力有限

    arXiv 论文 arXiv:2610.20179 提出跨模型 in-context 神经反馈方法,测试 5 个家族共 10 个 9B 到 32B 的开放权重模型,检验语言模型能否控制自身激活。部分模型能明显移动自己的激活分数,但幅度不超过同等能力的写手模型;预填固定句子后仅 3 个模型表现出小而稳定的控制效应;在欺骗监测器实验中无模型能降低监测分数,仅 1 个模型能抬高它。作者认为这种控制能力尚不构成对激活监测器的威胁,但需随模型演进持续追踪。

    推荐理由:论文用跨模型写手和预填句子的实验设计,把任务能力与对自身激活的真实控制区分开,结论有明确证据支撑。

  8. arXiv · cs.CL18

    职业技能为何难以提升职业路径预测:技能增强 CPP 的局限分析

    一项 arXiv 研究系统评估了在职业路径预测(CPP)中引入显式技能表示的效果,涵盖 score fusion 与神经架构,并分别测试预测技能和 ESCO 真值标注两种条件。在两个 benchmark 数据集上,所有设置均未显著超越纯文本基线,即便使用真值技能收益也微弱且不稳定。作者归因于文本与技能表示高度冗余、ESCO 分类区分力有限以及技能嵌入的表示坍缩。

  9. arXiv · cs.CL43

    多语言 MoE 扩展规律研究:语言覆盖如何改变容量与算力分配

    一项 arXiv 研究提出考虑语言重复性的联合扩展规律,刻画活跃参数量、每语言训练 token 数、专家数与语言覆盖之间的关系,基于 64 个预训练配置的 26,300 条逐语言 loss 观测拟合,预测误差较最强基线降低 28%。在相同活跃参数与每语言 token 数下,32 个专家将语言从 12 扩展到 200 时的 loss 损失较稠密模型减少 83%。

  10. arXiv · cs.CL33

    AFFIRM:修复文本更新后语音模型知识访问的冻结仿射场方法

    论文提出 AFFIRM(Affine Fields for Interface Repair across Modalities),在知识检查点冻结的前提下,通过先学习并冻结基础修正、再叠加查询级修正的可拆卸算子,单次前向修复语音访问。在 PopQA 平衡合成语音上与 SALSA、低秩 ReFT 相比未显出明确优势;在 SLUE-SQA-5 录音问题上,PopQA 拟合的 AFFIRM 算子免重训迁移,ROUGE-L 较 No Repair 基线提升 0.0941。

  11. arXiv · cs.CL37

    MMLA-RSI:通过 RTT 与 RTMA 实现递归自我改进

    arXiv 技术报告提出 MMLA-RSI,一种在 Memory-Mediated Learning Architecture 中的递归自我改进方案,包含两条实现路径:Reasoning-Time Training(RTT)修改策略状态 Φ,Reasoning-Time Memory Adaptation(RTMA)修改权威记忆 M,且各自的适配方法本身也是改进对象。在四候选程序选择任务中,保留 LARC 反馈更新使两个训练初始化的期望误差分别降低 24.65 和 36.65 个百分点;两条递归路径的联合实现已给出规范,但其有益递归链与发现效率仍有待评估。

  12. arXiv · cs.CL34

    Anuvani-Diarization:跨 22 种语言的零样本说话人日志与标注规范研究

    Anuvani-Diarization 在 IndicDiarBench 上覆盖印度 22 种官方语言的零样本说话人日志任务,通过不确定性感知的 silver 监督适配自监督端到端分割模型。在 1,164 条录音上 duration weighted DER 达 16.78%,为所测系统最低,仅次于已发表最佳结果 16.0%,并在 22 种语言中的 14 种领先三个最强对手。研究还发现 utterance 级标注规范这一隐藏变量影响 1.9 至 4.1 个 DER 点。

  13. arXiv · cs.CL56

    TreeFlex 论文提出让 Agent 自主导航搜索树的框架

    Dongzhuo Li 等人在 arXiv 发布 TreeFlex 框架,让 Agent 用单个模型以 Reflection 和 Execution 两个角色自主决定在搜索树中深化、分支、回溯或验证,摆脱单一上下文里陈旧信息挤占容量的限制。导航、任务动作、检查点与提案审核通过树感知改造的 GRPO 联合训练。4B 模型经小规模 RL 后在深度研究基准达 48.8% 准确率,高于 flat ReAct 的 41.5% 和 FoldAgent 的 42.8%,Pass@8 高出约十分;9B 模型在 SWE-bench Verified 解决 54.9% 任务,高于 FoldAgent 的 43.3%。论文链接 https://arxiv.org/abs/2610.20334v1

    推荐理由:论文给出 TreeFlex 与 ReAct、FoldAgent 在相同上下文限制和相同起点模型下的对照数据,可比较搜索树导航带来的具体提升。

  14. arXiv · cs.CL42

    AI 智能体会八卦吗?人类与 AI 智能体在线社区中的评价性话语研究

    一项 arXiv 研究对比了 AI 智能体社区 Moltbook 与台湾大型人类论坛 PTT 上的八卦(对缺席第三方的评价性谈论)。结果显示智能体社区同样存在八卦,但流行度比人类低 2.6 至 6 倍;含可编码回复的帖子中,人类帖子出现质疑的比例为 65.1%,智能体仅 21.3%,且早期附和后共识在 83.6% 的智能体帖子中不再受挑战(人类为 44.7%)。这表明智能体社区复现了八卦的信息维度,其关系功能是否相当仍无定论。

  15. arXiv · cs.CL42

    研究发现 AI 智能体社区词汇流行但缺乏长期语义结构

    一项 arXiv 研究用 CADE 嵌入对比 MoltBook(AI 智能体社区,8 周)、PTT(19 年)与 Reddit 的语义演化,发现 MoltBook 的 B1 语义漂移约为人类平台 2 倍、B2 邻域稳定性低 20-30%,且 lag-1 自相关不显著(p=0.41),而成立仅 8 周的 r/vibecoding 已呈显著自相关(0.082,p<.001)。结果表明词汇扩散本身不保证历时语义固化。

  16. arXiv · cs.CL33

    面向可解释波斯语仇恨言论的多跳推理基准发布

    研究者推出一个细粒度多跳推理基准,用于可解释的波斯语仇恨言论分析,涵盖内容分诊、目标识别、仇恨策略与道德基础分析、文本证据抽取、有害叙事推断和严重度评估。评测显示 LLM 性能随任务语义与推理粒度加深而下降,专有模型整体优于开源权重模型,推理型模型无一致优势;引入中间推理步骤显著提升严重度预测,且“煽动暴力或伤害”与更高严重度关联最强。基准已公开可用。

  17. arXiv · cs.CL44

    FOLD:面向长上下文投机解码的无位置远端记忆方法(arXiv 论文)

    arXiv 论文提出 FOLD,一种免训练的长上下文投机解码方法,保留精确局部位置并将远端条目作为共享位置的远端记忆处理,通过锐化注意力缓解注意力稀释。在六组 target-drafter 组合、最长 256K tokens 的基准上,FOLD 多数情况取得最高加速,最佳案例将相对自回归解码的加速从 2.08× 提升至 4.22×。

  18. arXiv · cs.CL54

    Cortex:将上下文固化为参数化记忆的记忆巩固方法

    arXiv 论文提出 Memory Consolidation 框架,将上下文带来的增益内化为参数记忆,同时保持非目标能力,并统一了上下文编辑、技能学习与行为引导三类任务。配套提出 Cortex 方法,通过生成前瞻性查询预测上下文用途,并将上下文条件输出蒸馏为可合并的低秩或结构化前馈网络更新。在 4B 至 120B 的稠密与 MoE 骨干(含纯文本与多模态模型)上,Cortex 在多数评测设置中处于巩固-保留 Pareto 前沿;对 14B 模型做 50 次连续事实编辑后,Cortex-Structural 恢复 88.9% 的上下文增益,同时保留 99.8% 的原始非目标性能。

    推荐理由:论文给出了跨 4B 到 120B 多种骨干的实测数据,包括 50 次连续编辑后 88.9% 增益恢复与 99.8% 非目标保留率。

  19. arXiv · cs.CL53

    arXiv 论文评测 DeepSeek-V4-Flash 与 GLM-5.3-Flash 在网络威胁情报实体抽取中的失败模式与置信度信号

    arXiv 论文(arXiv:2610.20417)对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测,发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94,旗舰模型也未消除差距。主要失败不是幻觉:抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口,仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛,但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断,结论是置信度分层只能用于排定复核优先级,不能当真值。

    推荐理由:论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成,发现主要问题不是幻觉而是背景提及,并给出置信度分层的部署边界。

  20. arXiv · cs.CL28

    分析 RAG 模型在问答任务中的性能表现

    一项 arXiv 研究分析 RAG 模型在开放域问答任务中的表现,重点考察南亚多语言场景下检索机制对答案质量的影响。研究比较了 RAG 与非上下文、上下文回答的性能差异,并检验 RAG 对文化类与非文化类、热门与非热门文化问题的收益是否不同,以提炼优化混合 RAG 系统的关键因素。

  21. arXiv · cs.CL46

    SwarmRSI:通过演化科学智能体集群实现递归自我改进

    论文提出 SwarmRSI 框架,通过演化科学智能体集群实现递归自我改进(RSI)。该框架包含 Feedback-Guided Swarm Mutation、Complementary Swarm Recombination 和 Recursive Swarm Evolution 三项机制,利用智能体间实验反馈修正假设与实现并复用互补组件。在 OpenProblems、NatureBench 和 MLE-Bench Lite 上达到 SOTA,且积累的研究经验可提升 held-out 任务表现。

  22. arXiv · cs.CL52

    arXiv 论文提出 COUNT 方法:用 n-gram 计数扩展主机内存并实现免训练适配

    arXiv 论文(arXiv:2610.20456)提出 COUNT(Counting Offline Unlocks N-gram Transformers),通过在主机内存存储预计算的 n-gram 计数构建 n-gram 嵌入,不增加可学习参数。在固定算力预算下,将 COUNT 作为额外输入嵌入用于预训练 1B 参数语言模型,验证损失的改善相当于多花 57% 算力;GPU 内存受限时,让骨干参数占满 GPU 的效果优于与可学习 n-gram 嵌入分摊内存。推理时还可换用领域语料的 n-gram 计数表,无需训练即可适配新任务。

    推荐理由:论文给出把 n-gram 计数存到主机内存的免训练适配方案,并量化了固定算力下的验证损失收益。

  23. arXiv · cs.CL34

    GPT-5.4 智能体如何解读科学论断中的歧义:arXiv 论文提出 Claim Cards

    arXiv 论文提出 Claim Cards,在收集证据前将验证智能体对科学论断的解释记录为九个字段,并标注为 stated、inferred 或 default。在 60 条材料科学与生物医学专家标注论断上对 GPT-5.4 智能体共进行 900 次运行,冻结卡片中单个字段被刻意修改后,约三分之一的论断判定被改变,而随机预期约为七分之一(p < 0.001)。卡片使每次运行的 GPT-5.4 token 与时间增加约十分之一,但与专家标签的一致性没有可测变化。

  24. arXiv · cs.CL34

    MolLean:面向化学推理的过程可验证语言

    研究者提出 MolLean,一种基于 Lean 内核的过程可验证语言,将化学链式推理锚定在显式分子状态上,可检验状态转换与分子断言,并配套提供有状态工具接口 MolLean-MCP。在覆盖分子生成、编辑、优化与反应的 12 个任务、8800 个匹配样本上,Qwen3.6-27B 的全轨迹精炼模式在全部 12 个任务上优于直接链式推理,MolLean-MCP 则在反应任务上表现更佳。

  25. arXiv · cs.CL39

    semCER:按错误严重程度加权的 OCR 字符错误率指标

    研究者提出 semCER,在保留 CER 对齐与分母的基础上,由 LLM judge 为每个字形编辑赋予严重度权重,无需分词。该指标在英语、越南语、中文上逐编辑追踪读者评分,并在 CER 与 semCER 分歧的样本上更常获得读者支持;团队发布了 6100 万条 judged edits、汇总读者评分及蒸馏后的 scorer。

  26. arXiv · cs.CL42

    ChronoCulture:评估大语言模型跨时间文化感知能力的基准

    研究者推出 ChronoCulture 基准,基于 72 个国家的纵向调查数据构建 10,360 个时间配对,以人口回答分布为真值评估 LLM 的文化感知。在六个 LLM 上的测试显示,模型能预测某国某时点的态度,但难以捕捉态度随时间的变化,不同年份的预测结果趋于接近;在提示词中指定年份也几乎无改善。

  27. arXiv · cs.CL56

    AdaRSI:面向具身智能体的按需递归自我改进框架

    论文提出 AdaRSI,一种具身智能体的按需递归自我改进(RSI)框架,解决 VLA 在未见长程任务中途中失败的问题。编码 agent 先改进技能与 harness,再通过从保存状态重试失败子步骤来归因持续失败,仅对仍不可靠的子步骤用自采演示和先前任务经验做微调。在 RoboCasa365 全部 50 个目标任务上,以 GR00T N1.5 为执行器且无人类演示,AdaRSI 在三个套件上均提升 VLA,将未见复合任务成功率从 4.6% 提至 13.8%;相比微调每个子步骤,成功率略高而仅用 28% 的 GPU 时间和 22% 的自采演示。论文链接 https://arxiv.org/abs/2610.20474v1

    推荐理由:论文给出按需微调与全量微调的对照数据,GPU 时间和自采演示用量都大幅降低,方法细节可直接参考。

  28. arXiv · cs.CL34

    翻译中的迷失:为什么更低的偏见分数不代表模型更公平

    一项 arXiv 研究审计了 10 个开源模型在 8 种语言下的刻板印象偏见,发现全部 70 个模型-语言组合的平均偏见分数都低于英文水平,但低平均分并不等于更公平:同一测试项的英文分数与其翻译后分数的相关性仅 0.23(忠实翻译为 0.27),远低于英文改写间的 0.48。研究还指出三种会悄悄抹除偏见信号的常见流水线错误,并开源了代码。

  29. arXiv · cs.CL43

    VASPO:基于特权价值估计的自蒸馏策略优化方法

    VASPO(Value-Augmented Self-Distillation Policy Optimization)在 PPO 框架内整合自蒸馏与特权价值估计:critic 从预测续写回报计算 token 级优势,自教师通过有界概率比调制部分正优势。在六个数学推理 benchmark 上,VASPO 在 Qwen3-4B 和 OLMo3-7B 上分别比 PPO 平均准确率提升 2.59 和 1.81 个百分点,并在 Knights and Knaves 上取得评测方法中的最高平均准确率。代码已开源。

  30. arXiv · cs.CL58

    PrismaCoder:基于分解式评分标准合成的开源多模态代码模型发布

    Qiushi Sun 等人在 arXiv 发布论文,提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准,同一 rubric 既筛选监督语料又驱动强化学习;据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集,两个模型在开源中大幅领先并接近闭源系统,代码与数据已开放。

    推荐理由:论文把渲染正确性拆成可核查的评分标准,同一套 rubric 既筛数据又当强化学习奖励,方法可迁移到其他多模态任务。

  31. arXiv · cs.CL41

    PerSo:在真实说服场景中考察 LLM 社会智能的各个维度

    arXiv 论文提出 PerSo 基准,基于 Reddit ChangeMyView 的真实说服对话,用 LLM-in-the-loop 流水线构建评测任务并经人工标注验证,同时评估 LLM 的认知智能与行为智能。对多个 LLM 的评测显示,性能总体随模型规模提升但在不同维度表现不一:最强模型在行为任务上略超最佳人类,而认知任务上最佳人类参与者仍领先。

  32. arXiv · cs.CL57

    arXiv 论文提出让 LLM 智能体学会遗忘以扩展自动科研发现

    arXiv 论文《Scaling Discovery Requires Forgetting》提出,LLM 智能体自动科研的三种扩展策略(单智能体长迭代、并行、并行通信)都会因历史累积而停滞,智能体被自身过往尝试锚定,编辑越来越少且越来越小。论文的方法是周期性丢弃搜索状态(包括各智能体会话与候选历史),从当前最优候选重启搜索。在启发式编程、kernel 优化和模型训练四类任务上,相比并行智能体最高提升 15%,相比单智能体最高提升 39%。论文链接:https://arxiv.org/abs/2610.20563v1

    推荐理由:论文指出 LLM 智能体自动科研随历史累积而停滞,提出定期丢弃搜索状态重启,在四类任务上给出量化对比。

  33. arXiv · cs.CL56

    Manacá-1B-Instruct-2 发布:巴西葡萄牙语模型的可复现安全对齐与 DPO 负结果

    Bruno Menezes 在 arXiv 发布 Manacá-1B-Instruct-2,对从零训练的 1.72B 参数巴西葡萄牙语模型 Manacá-1B 做第二代后训练对齐,SFT 语料含 291,223 条样本。论文记录三次 DPO 尝试均为负结果,包括训练 reward margin 达 1.0 但自由生成毫无变化的情况;安全性来自经三轮迭代的安全 SFT,安全 SFT 中通用数据占比从 10% 到 60% 的受控扫描显示过度拒绝曲线非单调,拐点在 40-50%。最终模型与四个外部 PT-BR 模型对比,采用 Wilson 置信区间和带 Holm-Bonferroni 校正的配对 McNemar 检验,其安全区间下界 94.1% 高于全部四个基线的上界。

    推荐理由:论文完整记录了三次失败的 DPO 和安全 SFT 数据配比扫描,还披露了 LLM 评审静默拒打分的方法学问题,可复现细节齐全。

  34. arXiv · cs.CL42

    CIPR:跨接口一致性训练提升 LLM Agent 鲁棒性

    一项 arXiv 研究提出 Cross-Interface Policy Regularization(CIPR),一种自监督目标,通过让策略在两个等价接口下动作分布的 KL 散度最小化,实现跨接口一致性训练。在 agentic function calling 上,held-out 接口扰动使 post-trained agent 准确率下降近 25%,CIPR 恢复 10.5%,且不影响原接口准确率。