跳到正文
10月22日周四
  1. arXiv · cs.CL43

    ExpEvolve:面向开放式发现的经验结构化与复用方法

    ExpEvolve 提出在 AlphaEvolve 类进化编码智能体中注入“想法级”抽取与控制,从程序中发现解释得分差异的高层因素,并给出其提升样本效率的理论条件。在 11 个开放式数学任务上,ExpEvolve 将最终性能和样本效率最高提升至 5.0x,改进还可迁移到 4 个其他 LLM 及 MLS-Bench 的 6 个机器学习任务。

  2. arXiv · cs.CL43

    询问“导演看到什么”会改变视觉语言模型的选择

    一项 arXiv 研究显示,在 Director Task 中,先询问模型“导演能看到哪些方块”再让它执行“选最大方块”的指令,会使 GPT 六个模型选择被遮挡方块的比例上升 12 至 88 个百分点,Qwen3.8-27B 上升 17 个百分点,尽管模型大多能正确报告导演视角。原因在于该问题改变了模型对请求的解读方式;当提示词明确说明导演所知所指时,正确报告与误选隐藏方块同时出现的比例不足 1%。作者提出仅差这一问的成对提示词设计,作为任何视角采纳基准可用的无问题基线。

  3. arXiv · cs.CL16

    OSynth:面向会议理解的纵向、上下文敏感评测数据集

    研究者提出 OSynth,一个模拟组织的大规模合成数据集,包含 570 小时会议音频、相关文档及潜在真实状态。人类评审基于 150-300 词片段,区分 OSynth 会议与真实会议转录的准确率仅 56%。测试显示,引入日历、以往会议等额外上下文可使多个 LLM 在实体敏感维度显著提升。

  4. arXiv · cs.CL48

    Signals and Queries:面向 LLM Agent 的省 token 上下文相关性过滤方法

    Parlant 4.0 引入轻量级第一阶段的 Signals and Queries(S&Q)相关性过滤器,可在下游评估前剔除至少 30% 候选策略并保持高召回,且每轮无需 LLM 调用。在覆盖 254 个 τ²-bench 对话前缀和 36 条航空公司策略的 9,144 个 LLM-judge 相关性标签上,S&Q 在所有召回水平下的精度均高于 top-K 和余弦阈值检索。该方法为面向客户的 Agent 降低下游评估成本提供了实用的第一级过滤方案。

  5. arXiv · cs.CL28

    OACap:面向细节视频描述的“以描述为中心”主动观察方法

    研究者提出 OACap(Observation-Adaptive Video Captioner),一个以描述为中心的智能体,将缺失信息转化为定向观察请求,借助时空工具获取证据并迭代校验和修订描述,在通用视频理解基准上使用固定纯文本读取器即可持续提升性能。论文还发布 FSCap-Bench 诊断描述保留的信息,其 CSFS 分数在 93.0-98.3% 的有效描述对上对四种受控扰动响应符合预期,CSRS 分数则通过 video-caption-video-caption 往返度量语义保留度。

  6. arXiv · cs.CL32

    Policy Central:检测已部署警用政策中的冲突、冗余与相似性

    Policy Central 是一套已部署系统,用于检测警局书面政策条款之间的冲突、冗余、相似或差异关系。它包含两种架构:Retrieve-Judge 作为低成本全库健康信号,Screen-Confirm 用于审计人员所选文档的穷尽式筛查。在来自某部门约 84 份政策文档的 302 对 benchmark 上,Screen-Confirm 判断环节聚合 recall 达 0.795,Conflict 达 0.885;但难点在于找出待比对段落,Retrieve-Judge 组合 recall 仅 0.457,Screen-Confirm 恢复至 0.472(Conflict 0.615),能在数分钟内以低成本扫描近 20,000 个段落并按需重跑。

  7. arXiv · cs.CL16

    ChronoSynth:时序知识图谱上的约束感知问题合成方法

    ChronoSynth 是一个记忆增强、约束感知的时序知识图谱问题生成框架,先将问题意图显式表示为 Temporal Intent State,再从索引模式库中检索并适配类型化问题模板,验证不一致时通过反馈进行修订。该方法在 CRONQUESTIONS 和 MultiTQ 上取得 SOTA 生成性能,消融实验验证了各组件的贡献。

  8. arXiv · cs.CL37

    Transformer MLP 中的读-写耦合机制分析

    arXiv 论文将 Transformer MLP 的每个隐通道分解为决定响应时机的 reader 和决定写回残差流内容的 writer,利用更新的 Jacobian 为每个通道计算带符号的配对坐标。测量显示各 block 都存在小的强耦合通道核心,且几乎全部呈对立方向——writer 朝 reader 响应方向的反方向写入,这一模式从从头训练的小模型到已发布 checkpoint 都成立,训练早期几步内即定型。翻转对立 writer 会使输出偏向常见 token,被置换到其他 reader 的 writer 会重新适配该 reader。

  9. arXiv · cs.CL61

    研究:去审查不等于无偏差,abliteration 移除拒绝但不移除关于台湾的脚本依赖偏差

    Ju-Chun Ko 在 arXiv 发表论文(arXiv:2610.29342),测试 abliteration(去审查)模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本,以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration:原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05,且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06;abliteration 最多改变 0.06。

    推荐理由:论文用配对模型实测 abliteration 前后偏差,显示去审查不等于去立场偏差,并给出脚本切换与立场方向的量化证据。

  10. arXiv · cs.CL47

    数据计划与学习率计划应协同设计:LLM mid-training 数据混合调度研究

    一项 arXiv 研究将 LLM mid-training(MT)从预训练(PT)数据的完全切换视为数据混合调度的一种特例,发现在固定总算力和 MT token 预算下,哪种数据调度最优取决于学习率(LR)调度:LR 持续衰减时提前引入并混合 MT 数据可降低最终 MT loss,而恒定 LR 下结论相反。消融实验表明,仅在 MT 数据进入训练后再衰减 LR 效果更好,作者还提出了解释该现象的理论模型。

  11. arXiv · cs.CL25

    B-CARE:面向立场分类错误排序的盲评类相对证据评估框架

    B-CARE(Blind Classwise Assessment of Relative Evidence for Stance Error Ranking)是一种预测盲的错误排序框架,用固定 LLM 验证器对各候选立场标签赋证据分,对比最强替代类与预测类的证据来构建风险分。该框架在 4 个立场基准和 3 个异构基座 LLM 上的 12 个数据集-模型组合、5,206 条测试实例中评测,取得平均 AUROC 0.735、平均 AUPRC 0.524,并在风险最高的 20% 预测中捕获 41.06% 的错误;其证据信号可跨模型复用,与置信度基线互补。

  12. arXiv · cs.CL30

    闭环双参考引导方法用于跨语言语音克隆中的口音控制

    一种闭环双参考引导方法将原始参考音与通过语音转换(VC)构建的可复用母语锚音配对,减少零样本跨语言语音克隆中的口音迁移。在 20 名法语留出说话人上,λ*=0.33 设置使残余法语 LID 质量降低 73%,ECAPA 相似度仅损失 0.042,平均 WER 低至 0.009;西班牙语 LID 质量降低 56% 且无需重新调参。在线合成 RTF 约 0.59,比 TTS→VC 级联的 0.80 低约 26%。

  13. arXiv · cs.CL52

    arXiv 论文提出长上下文持续预训练的经验缩放律:不要过早停止 LCCP

    arXiv 论文(arXiv:2610.29352)通过五个模型规模、百余种 token 预算配置,建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律,可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议,稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹;128K 上下文扩展和监督微调后增益仍保持,在评测范围内未见饱和,支持继续扩展 LCCP 而非提前停止。

    推荐理由:论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律,并用 1.22B 模型轨迹验证了可预测性与增益持续性。

  14. arXiv · cs.CL46

    面向 AI 智能体的以记忆为中心的持续学习(MCCL)框架

    研究者提出 Memory-Centric Continual Learning(MCCL),主张应依据记忆能否改善智能体未来行为而非仅凭检索效果来评估记忆。框架包含三部分:按存储基底、记忆资产和管理策略划分的三轴分类法与内外双循环生命周期;测量干扰下保持、变化适应和任务迁移的评估协议;以及刻画性能随经验、存储和计算预算扩展的记忆扩展框架,覆盖非参数与参数记忆,推动智能体记忆从被动检索转向持续学习。

  15. arXiv · cs.CL56

    OnQ 论文提出低比特量化下恢复推理能力的新管线

    论文提出 OnQ,一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线,用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上,OnQ 取得九个基准的最高平均分;2-bit 下在每个模型规模的每个基准都超过所有基线,Qwen3-8B 平均比最强基线提升 10.26 分,且响应更短、截断和重复错误更少。论文链接:https://arxiv.org/abs/2610.29378v1

    推荐理由:论文指出现有量化感知训练的固定响应监督缺陷,并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。

  16. arXiv · cs.CL56

    ECHO 论文揭示偏好优化中共同模态偏移导致词表坍缩的机制

    arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移,即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移,相对排序损失几乎察觉不到其累积;该偏移投影到输出层形成词表井,使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下,同样的坍缩出现在 17 个 base 模型谱系中的 14 个,且注入该偏移可复现坍缩、屏蔽该成分可预防;教科书式 DPO 偏移较弱,而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好,两个公开奖励模型反而越少偏好其样本,揭示了标准排序指标的盲区。

    推荐理由:论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来,并给出可在坍缩前预警的表征层信号。

  17. arXiv · cs.CL48

    TraDE 框架:如何建模人机对话中的自我披露轨迹

    研究者提出 Trajectory-based Disclosure Evaluation(TraDE)评估框架,基于社会渗透理论,通过预定义披露轨迹评估先前披露历史如何影响模型在当前披露深度相同下的回复行为。实验表明多个模型对披露的回应取决于此前轨迹,尤其体现在是否接受或挑战用户框架,且差异随深度披露的累积暴露产生并持续数轮。相比人类支持者(ESConv 语料),模型最明显偏离发生在用户减少披露而非袒露心声时。

  18. arXiv · cs.CL38

    CCG Diffusion:基于组合范畴语法的组合式与句法消歧文生图生成

    研究者提出 CCG Diffusion,一种无需训练的文生图控制方法,利用组合范畴语法(CCG)通过提示词改写和注意力引导控制属性绑定、空间关系与数量,并可固定介词词类来消解介词短语挂靠歧义。在 Stable Diffusion 和 Sana 两种骨干模型上,该方法在属性绑定和 2D 空间关系上取得对比方法中的最高分,在 PP 歧义消解上显著超越所有对比方法。

  19. arXiv · cs.CL30

    基于 KAN 的非线性分解方法压缩嵌入层

    一项 arXiv 研究提出用 KAN(Kolmogorov Arnold Networks)启发的可学习非线性投影增强低秩分解,突破嵌入层压缩中线性瓶颈的表达能力限制。方法在 Skip-gram 框架下于 Word Analogy 和 Semantic Similarity 基准上与标准低秩基线在相同参数预算下对比,并结合预训练未压缩嵌入层的初始化策略及蒸馏变体。结果表明非线性投影能在固定维度下生成更忠实的压缩嵌入。

  20. arXiv · cs.CL49

    BIRD-RL:在状态化数据中心环境中扩展智能体强化学习

    BIRD-RL 是一个四阶段智能体强化学习课程,配合 Trajectory-scoped Persistent Execution Infrastructure 实现数据库副本安全复用并保持轨迹隔离,空间效率提升 12.8x,无需 Kubernetes 即可扩展。在 BIRD-CRITIC-SQLite 基准上,7B 和 14B 模型分别取得 44.40% 和 48.00% 的成功率,可与 Claude-Opus-4.6 Agent(48.20%)竞争。该框架还训练出兼具 SQL 调试与生成能力的统一小模型。

  21. arXiv · cs.CL42

    DynaWeave:通过动态场景合成学习适应变化环境

    研究者提出自动化合成框架 DynaWeave,可将静态任务转化为可验证的动态场景,用 DAG 表示事件依赖并触发外生事件以训练 LLM 智能体。该框架在 36 个环境中收集了 2,095 条经验证的交互轨迹,用于对 Qwen3.5 模型做监督微调。实验显示其在 Gaia2、CostBench 和 ToolMaze 三个基准上均有一致提升,CostBench 任务完成率提高 67.34 个百分点,并在 ToolMaze 上超过 Gemini-3.1-Pro-Preview,代码已开源。

  22. arXiv · cs.CL29

    Omnilingual-MsASR:评测全模态大语言模型的长篇多说话人多语言 ASR 基准

    研究者推出 Omnilingual-MsASR 基准,评测全模态大语言模型在长篇多说话人语音识别(MsASR)上的表现,覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景,并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈,tcpWER 频繁超过 100%,细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。

  23. arXiv · cs.CL33

    Harness Scaling:面向可泛化智能体强化学习的新扩展维度

    一篇 arXiv 论文提出 Harness Scaling,将智能体 RL 的训练从单一固定 harness 扩展到多样化的执行配置。方法上构建因子化的 harness 空间,选取覆盖均衡的小型训练子集并组织跨 harness 训练。在多个 benchmark、模型规模和 RL 算法上,该方法持续提升对未见 white-box 配置的泛化,且能迁移到未见的外部 black-box harness,优于单一复杂 black-box harness 训练的模型。

  24. arXiv · cs.CL45

    TenetBench:用于评测大语言模型遵守职业伦理准则的俄语条款锚定语料库

    TenetBench 用自动化流水线从 15 部俄语职业伦理准则生成 3,433 条与具体条款冲突的请求,并配以仅合法性不同的良性对照任务。人工验证中冲突任务可信率达 0.995,模型裁判与人工标注的 Gwet's AC1 至少为 0.894。对 14 种模型与推理模式组合的评测显示,其中 11 种会在多数冲突请求下生成违规内容且大多不警告;开启推理使两个模型的拒答率减半。

  25. arXiv · cs.CL41

    强 MoE 足以胜任过程监督:专家路由作为过程奖励信号(RoCo-Rethink 与 RoCo-PRM)

    arXiv 论文提出用 MoE 模型的专家路由统计作为过程置信度信号,性能可与传统输出 logit 置信度竞争。基于总路由质量、头路由质量与步内路由变化构建路由置信度,RoCo-Rethink 识别置信度最低的推理步骤并选择性地重新生成后续轨迹,RoCo-PRM 则用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM。二者在多种 MoE 架构和多样推理任务上均优于强基线,RoCo-PRM 还可跨架构、跨任务迁移。

  26. arXiv · cs.CL42

    计时还是理解时间:单靠任何一种都无法解释 LLM 的时间推理

    一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升(+6.8 到 +23.1 个百分点),同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点;基于认知需求的评估显示,驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分,主要奖励模型记忆时间的通常运作方式。

  27. arXiv · cs.CL36

    用上下文感知解码缓解 Chain-of-Thought 中的查询捷径问题

    一项 arXiv 研究将上下文感知解码(CAD)应用于 CoT 推理,提出 Rationale Contrastive Decoding(RCD),通过对比有、无推理过程时基于 query 的 token 分布,放大因 rationale 而提升似然的 token,并给出 KL 正则化奖励最大化的理论解释。实验覆盖五个推理 benchmark,RCD 准确率超过标准 CoT;干预分析表明最终答案对 rationale 内容的行为依赖增强,且该方法无需训练。

  28. arXiv · cs.CL41

    LLM 何时能在检索式表格分类中超越投票带来增益?

    一项研究比较 4 个通用 LLM 与距离加权最近邻投票(Distance-KNN),在 19 个表格分类数据集上使用相同检索邻居。结果显示,在任何候选池规模下 Distance-KNN 平均准确率最高;LLM 的增益集中在检索邻居标签一致性低的场景,且在特征距离最近和中等邻域内部分 LLM 能胜出,但在最远距离组全部平均落后。

  29. arXiv · cs.CL37

    RCSD:面向领域特定投机解码的强化学习与持续学习训练框架

    RCSD 是一种投机解码训练框架,将 draft 模型优化与最大化接受长度的系统级目标对齐,利用投机推理中自然产生的接受与拒绝序列构建隐式偏好对,并用 masked loss 避免惩罚与 target 对齐的 token。在多个 benchmark 上,RCSD 相比 HASS 将平均接受长度提升 35%,端到端推理速度达 HASS 的 1.35x,且不损失生成质量。

  30. arXiv · cs.CL42

    PACE:四比特循环状态的周期性且通道对齐编码方法

    PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器,只需每生成几个 token 舍入一次状态,并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上,混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当,全程 4 比特版本在同等内存下得分高于 Q-Mamba,且保持解码加速。

  31. arXiv · cs.CL49

    WRDO:对齐语言模型中的加权拒绝方向优化

    WRDO(Weighted Refusal Direction Optimization)通过学习聚合权重,将逐提示词的拒绝方向组合为复合拒绝方向,改进传统差值均值单一方向的做法。该方法在三个开源权重模型上以三个 guard judge 和 HarmBench 评估,优于既有单方向方法,还可反向用于恢复被 abliterated 模型检查点的拒绝行为。论文已被 EMNLP 2026 接收。

10月21日周三
  1. arXiv · cs.AI41

    Racer:用符号等价检查猎捕 GPU 内核 Bug

    Racer 是一个 PTX 级符号等价检查引擎,在符号输入上执行内核与参考实现,将输出变为精确代数表达式以区分浮点误差与逻辑 Bug。它通过 Shape Reduction、lockstep CTA 调度器和带精确数值反驳的 idiom 模板三项技术实现生产级可用。在来自 41 个收集目标的 2,408 个生产内核上,Racer 发现 23 个库中的 82 个真实 Bug,其中 76 个为未知 Bug,41 个已获确认。

  2. arXiv · cs.AI37

    TaskWAM:解决世界-动作模型中的阶段混淆问题

    研究者提出 TaskWAM,一个闭环、阶段感知框架,用 Mode Tokens 表示细粒度任务要求、用 State Tokens 追踪执行进度,解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的 Stage Confusion 问题。论文同时发布多阶段操作基准 StageBench。实验显示 TaskWAM 在仿真与真实任务上有效减少混淆并达到与 SOTA 方法相当的性能,且可即插即用迁移到单臂、双臂、灵巧手和人形机器人等异构 WAM 架构与机器人本体。

  3. arXiv · cs.AI54

    Stratified Sparse Attention 论文提出确定性检索结合分数引导采样以缩小极端稀疏下与稠密注意力的差距

    Sahil Joshi 等在 arXiv 发布论文,提出 Stratified Sparse Attention(SSA),将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上,SSA 均优于基线;RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下,32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%,分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后,1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍,代码已开源。

    推荐理由:论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据,方法可复用,代码已开源。

  4. arXiv · cs.AI13

    MOTION:基于演化用户-位置图社区一致性的人类移动生成框架

    研究者提出 MOTION,一个用于社区一致性人类移动生成的多智能体框架,将移动生成形式化为动态用户-位置图生成。该框架由用户 agent、位置 agent 和全局管理 agent 组成,先用 Leiden 算法检测历史移动中的社区并提取社区条件交互先验,再由用户 agent 规划移动、位置 agent 从社区视角推断到达、管理器协调两视角并定向反思修正。在两个真实数据集上,MOTION 在个体轨迹、人口与流量分布、社区与图结构等指标上比基线至少高出 4.05%,代码已开源。

  5. arXiv · cs.AI34

    论文主张:AI 涌现的判定应以信息分解为理论基础

    一篇入选 NeurIPS 2026 Spotlight 的论文提出,用信息分解作为统一形式框架来操作化 AI 系统中关于涌现与协同的评估。该框架区分组件独有的信息、多组件共享的冗余信息和只有组合才能获得的协同信息,并给出可证伪标准:系统行为只有在携带关于任务结果的协同信息时才可称涌现。论文将这一视角应用于注意力头、自主智能体和人机团队。

  6. arXiv · cs.AI33

    G-JEPA:在潜在世界模型中探索时序上下文感知的物理接地

    研究者提出 G-JEPA,将时序上下文显式引入 JEPA 世界模型的物理接地,并结合先验引导的动作规划。该方法用共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,规划时通过以当前与目标潜在表征及其差异为条件的生成式动作分布进行动作推理。实验显示该模型在操作任务上规划性能提升,包括初始与目标观测时序间隔增大的任务,代码已公开。

  7. arXiv · cs.AI51

    Carlo Ciliberto 提出 Proof-Carrying Contracts 框架,用机器可验证证明约束 AI 智能体行为

    Carlo Ciliberto 在 arXiv 发布论文,提出 Proof-Carrying Contracts(PC2)框架,要求智能体在执行操作前提交机器可验证的证明,说明该操作在其模型允许的所有情况下都保留约定约束。名为 Airlock 的执行系统负责检验证明并控制访问,论文证明了约束在执行全程每个时刻都成立,即使智能体是对抗性的,并提供可复用能力模块用于构建合约。

  8. arXiv · cs.AI21

    基于 SSM 的脉冲神经网络实现模型级与层级闭环时间序列预测

    一项研究提出基于 SSM 的脉冲神经网络(SNN)闭环预测方法,解决 SNN 自回归预测时依赖不可得数值的问题,包括模型级和层级两种策略。在 ETT-small 基准上,两种方法与 S4 的 zero-masking 基线相当或更好,多数情况下可与 SpaceTime 等最先进方法媲美。结果显示连续激活与低比特量化激活之间的权衡,证明 Deep SSM 架构可作为有竞争力的预测框架。