跳到正文
10月22日周四
  1. arXiv · cs.AI23

    反身性阈值:多智能体操演性预测的相变研究

    一项 NeurIPS 2026 录用的研究提出“反身性矩阵”$\Gamma$,用于刻画多智能体操演性预测中重复再训练的稳定性。当矩阵谱半径小于 1 时,再训练几何收敛到唯一稳定均衡;越过阈值后,局部信息学习者的期望累计超额损失随时间线性增长。该阈值以上下界刻画了相变行为,并将先前单智能体的标量阈值作为特例恢复。

  2. arXiv · cs.CL22

    听到却说不准:Prompting 低估了冻结大型音频-语言模型对音乐时刻的时间信息

    一项 arXiv 研究发现,大型音频-语言模型(LALMs)难以定位音乐中被描述的时刻,但这并非时间信息缺失,而是 prompting 提取方式的瓶颈。研究基于 Slakh2100 stem 激活构建配对查询探针,对同一段音频同时施加状态查询和变化查询,并改变模型可见的前置音频量。结果显示,状态查询无需上下文即高于基线,变化查询在多数短段模型中随前置上下文改善,而 30s padded 编码器无类似恢复;prompting 失败低估了模型可验证的内容,但未低估其可定位的内容。

  3. arXiv · cs.CL17

    结合计算机视觉与知识接地的语言模型,构建智能养蜂辅助系统

    研究者提出一套边缘可部署的蜂箱巢框检测流程:用目标检测器识别具生物学意义的巢房类别,将检测结果蒸馏为结构化事实模式,再转为受约束的事实文本并触发知识库,生成可解释、可执行的蜂群检查报告。系统基于开源 FAIRHiveFrames-1K 数据集构建,并额外发布将图像事实与文本解释互相对应的 FAIRHiveText-1K 数据集,便于后续基于 LLM 的研究。

  4. arXiv · cs.CL47

    CATS:面向多智能体系统的对比归因拓扑搜索方法

    研究者提出对比归因拓扑搜索方法 CATS,在固定专家智能体超图中通过 LLM 归因器为各智能体分配贡献度,剪除弱边和弱智能体,搜索紧凑团队。使用小开源模型,CATS 在 BigCodeBench 上平均准确率比仅用分数的启发式搜索高 5.3 个百分点,部署 token 减少 54%;在 HotpotQA 提示词投毒测试中三次运行均排除全部被投毒的智能体。

  5. arXiv · cs.CL47

    FrameBench-HPS:收益-损失框架效应如何影响 LLM 高风险决策建议

    研究者提出 FrameBench-HPS 基准,用覆盖医疗、金融、教育/职业、法律/消费者权益四大领域的 240 个高风险场景构建 2,880 条提示词,测试七个 LLM 在相同概率以收益或损失框架表述时的建议一致性。结果显示 32.4% 的完整组别中推荐类别因框架而改变,且该效应在对话式改写下依然存在。概率规范化处理能大幅降低框架敏感性。

  6. arXiv · cs.CL43

    ExpEvolve:面向开放式发现的经验结构化与复用方法

    ExpEvolve 提出在 AlphaEvolve 类进化编码智能体中注入“想法级”抽取与控制,从程序中发现解释得分差异的高层因素,并给出其提升样本效率的理论条件。在 11 个开放式数学任务上,ExpEvolve 将最终性能和样本效率最高提升至 5.0x,改进还可迁移到 4 个其他 LLM 及 MLS-Bench 的 6 个机器学习任务。

  7. arXiv · cs.CL40

    基于 LLM 的外生世界建模用于动态调度(arXiv 论文)

    一项 arXiv 研究提出 AWMP(Afterstate World-Model Planning),用预训练 LLM 作为世界模型的外生组件,预测动态调度中的不确定未来任务到达。方法结合 afterstate 分解、信念条件调度策略、短场景 rollout、惊讶触发的 LLM 查询刷新与在线残差自校准。在动态 job-shop 和柔性 job-shop 基准上,相对八种经典优先级调度规则中的最优者,加权延期分别降低 6-21% 和 22-46%。

  8. arXiv · cs.CL43

    询问“导演看到什么”会改变视觉语言模型的选择

    一项 arXiv 研究显示,在 Director Task 中,先询问模型“导演能看到哪些方块”再让它执行“选最大方块”的指令,会使 GPT 六个模型选择被遮挡方块的比例上升 12 至 88 个百分点,Qwen3.8-27B 上升 17 个百分点,尽管模型大多能正确报告导演视角。原因在于该问题改变了模型对请求的解读方式;当提示词明确说明导演所知所指时,正确报告与误选隐藏方块同时出现的比例不足 1%。作者提出仅差这一问的成对提示词设计,作为任何视角采纳基准可用的无问题基线。

  9. arXiv · cs.CL16

    OSynth:面向会议理解的纵向、上下文敏感评测数据集

    研究者提出 OSynth,一个模拟组织的大规模合成数据集,包含 570 小时会议音频、相关文档及潜在真实状态。人类评审基于 150-300 词片段,区分 OSynth 会议与真实会议转录的准确率仅 56%。测试显示,引入日历、以往会议等额外上下文可使多个 LLM 在实体敏感维度显著提升。

  10. arXiv · cs.CL48

    Signals and Queries:面向 LLM Agent 的省 token 上下文相关性过滤方法

    Parlant 4.0 引入轻量级第一阶段的 Signals and Queries(S&Q)相关性过滤器,可在下游评估前剔除至少 30% 候选策略并保持高召回,且每轮无需 LLM 调用。在覆盖 254 个 τ²-bench 对话前缀和 36 条航空公司策略的 9,144 个 LLM-judge 相关性标签上,S&Q 在所有召回水平下的精度均高于 top-K 和余弦阈值检索。该方法为面向客户的 Agent 降低下游评估成本提供了实用的第一级过滤方案。

  11. arXiv · cs.CL28

    OACap:面向细节视频描述的“以描述为中心”主动观察方法

    研究者提出 OACap(Observation-Adaptive Video Captioner),一个以描述为中心的智能体,将缺失信息转化为定向观察请求,借助时空工具获取证据并迭代校验和修订描述,在通用视频理解基准上使用固定纯文本读取器即可持续提升性能。论文还发布 FSCap-Bench 诊断描述保留的信息,其 CSFS 分数在 93.0-98.3% 的有效描述对上对四种受控扰动响应符合预期,CSRS 分数则通过 video-caption-video-caption 往返度量语义保留度。

  12. arXiv · cs.CL32

    Policy Central:检测已部署警用政策中的冲突、冗余与相似性

    Policy Central 是一套已部署系统,用于检测警局书面政策条款之间的冲突、冗余、相似或差异关系。它包含两种架构:Retrieve-Judge 作为低成本全库健康信号,Screen-Confirm 用于审计人员所选文档的穷尽式筛查。在来自某部门约 84 份政策文档的 302 对 benchmark 上,Screen-Confirm 判断环节聚合 recall 达 0.795,Conflict 达 0.885;但难点在于找出待比对段落,Retrieve-Judge 组合 recall 仅 0.457,Screen-Confirm 恢复至 0.472(Conflict 0.615),能在数分钟内以低成本扫描近 20,000 个段落并按需重跑。

  13. arXiv · cs.CL16

    ChronoSynth:时序知识图谱上的约束感知问题合成方法

    ChronoSynth 是一个记忆增强、约束感知的时序知识图谱问题生成框架,先将问题意图显式表示为 Temporal Intent State,再从索引模式库中检索并适配类型化问题模板,验证不一致时通过反馈进行修订。该方法在 CRONQUESTIONS 和 MultiTQ 上取得 SOTA 生成性能,消融实验验证了各组件的贡献。

  14. arXiv · cs.CL37

    Transformer MLP 中的读-写耦合机制分析

    arXiv 论文将 Transformer MLP 的每个隐通道分解为决定响应时机的 reader 和决定写回残差流内容的 writer,利用更新的 Jacobian 为每个通道计算带符号的配对坐标。测量显示各 block 都存在小的强耦合通道核心,且几乎全部呈对立方向——writer 朝 reader 响应方向的反方向写入,这一模式从从头训练的小模型到已发布 checkpoint 都成立,训练早期几步内即定型。翻转对立 writer 会使输出偏向常见 token,被置换到其他 reader 的 writer 会重新适配该 reader。

  15. arXiv · cs.CL61

    研究:去审查不等于无偏差,abliteration 移除拒绝但不移除关于台湾的脚本依赖偏差

    Ju-Chun Ko 在 arXiv 发表论文(arXiv:2610.29342),测试 abliteration(去审查)模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本,以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration:原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05,且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06;abliteration 最多改变 0.06。

    推荐理由:论文用配对模型实测 abliteration 前后偏差,显示去审查不等于去立场偏差,并给出脚本切换与立场方向的量化证据。

  16. arXiv · cs.CL34

    Decodability Is Not Controllability:连续潜变量 TTS 中说话人控制的局部与各向异性研究

    一项 arXiv 研究表明,在 VoxCPM2 连续潜变量 TTS 中,高线性可解码性不等于因果可控性:RALM L7 层探测准确率达 0.970,但对齐编辑在 60 组配对中 0 组成功;而在 L0 层编辑可将目标相似度提升 0.326,60 组全部实现目标主导。双盲听测确认声音被识别为目标说话人,研究指出免训练说话人控制需要几何特异性和通向声学合成的计算通路。

  17. arXiv · cs.CL47

    数据计划与学习率计划应协同设计:LLM mid-training 数据混合调度研究

    一项 arXiv 研究将 LLM mid-training(MT)从预训练(PT)数据的完全切换视为数据混合调度的一种特例,发现在固定总算力和 MT token 预算下,哪种数据调度最优取决于学习率(LR)调度:LR 持续衰减时提前引入并混合 MT 数据可降低最终 MT loss,而恒定 LR 下结论相反。消融实验表明,仅在 MT 数据进入训练后再衰减 LR 效果更好,作者还提出了解释该现象的理论模型。

  18. arXiv · cs.CL25

    B-CARE:面向立场分类错误排序的盲评类相对证据评估框架

    B-CARE(Blind Classwise Assessment of Relative Evidence for Stance Error Ranking)是一种预测盲的错误排序框架,用固定 LLM 验证器对各候选立场标签赋证据分,对比最强替代类与预测类的证据来构建风险分。该框架在 4 个立场基准和 3 个异构基座 LLM 上的 12 个数据集-模型组合、5,206 条测试实例中评测,取得平均 AUROC 0.735、平均 AUPRC 0.524,并在风险最高的 20% 预测中捕获 41.06% 的错误;其证据信号可跨模型复用,与置信度基线互补。

  19. arXiv · cs.CL30

    闭环双参考引导方法用于跨语言语音克隆中的口音控制

    一种闭环双参考引导方法将原始参考音与通过语音转换(VC)构建的可复用母语锚音配对,减少零样本跨语言语音克隆中的口音迁移。在 20 名法语留出说话人上,λ*=0.33 设置使残余法语 LID 质量降低 73%,ECAPA 相似度仅损失 0.042,平均 WER 低至 0.009;西班牙语 LID 质量降低 56% 且无需重新调参。在线合成 RTF 约 0.59,比 TTS→VC 级联的 0.80 低约 26%。

  20. arXiv · cs.CL52

    arXiv 论文提出长上下文持续预训练的经验缩放律:不要过早停止 LCCP

    arXiv 论文(arXiv:2610.29352)通过五个模型规模、百余种 token 预算配置,建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律,可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议,稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹;128K 上下文扩展和监督微调后增益仍保持,在评测范围内未见饱和,支持继续扩展 LCCP 而非提前停止。

    推荐理由:论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律,并用 1.22B 模型轨迹验证了可预测性与增益持续性。

  21. arXiv · cs.CL46

    面向 AI 智能体的以记忆为中心的持续学习(MCCL)框架

    研究者提出 Memory-Centric Continual Learning(MCCL),主张应依据记忆能否改善智能体未来行为而非仅凭检索效果来评估记忆。框架包含三部分:按存储基底、记忆资产和管理策略划分的三轴分类法与内外双循环生命周期;测量干扰下保持、变化适应和任务迁移的评估协议;以及刻画性能随经验、存储和计算预算扩展的记忆扩展框架,覆盖非参数与参数记忆,推动智能体记忆从被动检索转向持续学习。

  22. arXiv · cs.CL56

    OnQ 论文提出低比特量化下恢复推理能力的新管线

    论文提出 OnQ,一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线,用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上,OnQ 取得九个基准的最高平均分;2-bit 下在每个模型规模的每个基准都超过所有基线,Qwen3-8B 平均比最强基线提升 10.26 分,且响应更短、截断和重复错误更少。论文链接:https://arxiv.org/abs/2610.29378v1

    推荐理由:论文指出现有量化感知训练的固定响应监督缺陷,并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。

  23. arXiv · cs.CL56

    ECHO 论文揭示偏好优化中共同模态偏移导致词表坍缩的机制

    arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移,即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移,相对排序损失几乎察觉不到其累积;该偏移投影到输出层形成词表井,使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下,同样的坍缩出现在 17 个 base 模型谱系中的 14 个,且注入该偏移可复现坍缩、屏蔽该成分可预防;教科书式 DPO 偏移较弱,而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好,两个公开奖励模型反而越少偏好其样本,揭示了标准排序指标的盲区。

    推荐理由:论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来,并给出可在坍缩前预警的表征层信号。

  24. arXiv · cs.CL48

    TraDE 框架:如何建模人机对话中的自我披露轨迹

    研究者提出 Trajectory-based Disclosure Evaluation(TraDE)评估框架,基于社会渗透理论,通过预定义披露轨迹评估先前披露历史如何影响模型在当前披露深度相同下的回复行为。实验表明多个模型对披露的回应取决于此前轨迹,尤其体现在是否接受或挑战用户框架,且差异随深度披露的累积暴露产生并持续数轮。相比人类支持者(ESConv 语料),模型最明显偏离发生在用户减少披露而非袒露心声时。

  25. arXiv · cs.CL38

    CCG Diffusion:基于组合范畴语法的组合式与句法消歧文生图生成

    研究者提出 CCG Diffusion,一种无需训练的文生图控制方法,利用组合范畴语法(CCG)通过提示词改写和注意力引导控制属性绑定、空间关系与数量,并可固定介词词类来消解介词短语挂靠歧义。在 Stable Diffusion 和 Sana 两种骨干模型上,该方法在属性绑定和 2D 空间关系上取得对比方法中的最高分,在 PP 歧义消解上显著超越所有对比方法。

  26. arXiv · cs.CL30

    基于 KAN 的非线性分解方法压缩嵌入层

    一项 arXiv 研究提出用 KAN(Kolmogorov Arnold Networks)启发的可学习非线性投影增强低秩分解,突破嵌入层压缩中线性瓶颈的表达能力限制。方法在 Skip-gram 框架下于 Word Analogy 和 Semantic Similarity 基准上与标准低秩基线在相同参数预算下对比,并结合预训练未压缩嵌入层的初始化策略及蒸馏变体。结果表明非线性投影能在固定维度下生成更忠实的压缩嵌入。

  27. arXiv · cs.CL49

    BIRD-RL:在状态化数据中心环境中扩展智能体强化学习

    BIRD-RL 是一个四阶段智能体强化学习课程,配合 Trajectory-scoped Persistent Execution Infrastructure 实现数据库副本安全复用并保持轨迹隔离,空间效率提升 12.8x,无需 Kubernetes 即可扩展。在 BIRD-CRITIC-SQLite 基准上,7B 和 14B 模型分别取得 44.40% 和 48.00% 的成功率,可与 Claude-Opus-4.6 Agent(48.20%)竞争。该框架还训练出兼具 SQL 调试与生成能力的统一小模型。

  28. arXiv · cs.CL42

    DynaWeave:通过动态场景合成学习适应变化环境

    研究者提出自动化合成框架 DynaWeave,可将静态任务转化为可验证的动态场景,用 DAG 表示事件依赖并触发外生事件以训练 LLM 智能体。该框架在 36 个环境中收集了 2,095 条经验证的交互轨迹,用于对 Qwen3.5 模型做监督微调。实验显示其在 Gaia2、CostBench 和 ToolMaze 三个基准上均有一致提升,CostBench 任务完成率提高 67.34 个百分点,并在 ToolMaze 上超过 Gemini-3.1-Pro-Preview,代码已开源。

  29. arXiv · cs.CL29

    Omnilingual-MsASR:评测全模态大语言模型的长篇多说话人多语言 ASR 基准

    研究者推出 Omnilingual-MsASR 基准,评测全模态大语言模型在长篇多说话人语音识别(MsASR)上的表现,覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景,并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈,tcpWER 频繁超过 100%,细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。

  30. arXiv · cs.CL33

    Harness Scaling:面向可泛化智能体强化学习的新扩展维度

    一篇 arXiv 论文提出 Harness Scaling,将智能体 RL 的训练从单一固定 harness 扩展到多样化的执行配置。方法上构建因子化的 harness 空间,选取覆盖均衡的小型训练子集并组织跨 harness 训练。在多个 benchmark、模型规模和 RL 算法上,该方法持续提升对未见 white-box 配置的泛化,且能迁移到未见的外部 black-box harness,优于单一复杂 black-box harness 训练的模型。

  31. arXiv · cs.CL44

    OmniSimulator:面向真实异构行为建模的小语言模型对齐训练框架

    研究者提出 OmniSimulator 训练框架,用五维结构化 schema 和教师模型生成的高质量推理轨迹,提升小语言模型在短视频平台上模拟真实用户行为的能力。该框架基于 200 名真实用户三个月的历史交互轨迹构建了 9,881 条训练实例,使 Qwen3-8B 平均成绩提升 34.33%,性能可与 Claude-Sonnet-4.5 竞争,并支持小规模自托管部署。论文已被 NeurIPS 2026 接收。

  32. arXiv · cs.CL45

    TenetBench:用于评测大语言模型遵守职业伦理准则的俄语条款锚定语料库

    TenetBench 用自动化流水线从 15 部俄语职业伦理准则生成 3,433 条与具体条款冲突的请求,并配以仅合法性不同的良性对照任务。人工验证中冲突任务可信率达 0.995,模型裁判与人工标注的 Gwet's AC1 至少为 0.894。对 14 种模型与推理模式组合的评测显示,其中 11 种会在多数冲突请求下生成违规内容且大多不警告;开启推理使两个模型的拒答率减半。

  33. arXiv · cs.CL41

    强 MoE 足以胜任过程监督:专家路由作为过程奖励信号(RoCo-Rethink 与 RoCo-PRM)

    arXiv 论文提出用 MoE 模型的专家路由统计作为过程置信度信号,性能可与传统输出 logit 置信度竞争。基于总路由质量、头路由质量与步内路由变化构建路由置信度,RoCo-Rethink 识别置信度最低的推理步骤并选择性地重新生成后续轨迹,RoCo-PRM 则用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM。二者在多种 MoE 架构和多样推理任务上均优于强基线,RoCo-PRM 还可跨架构、跨任务迁移。

  34. arXiv · cs.CL42

    计时还是理解时间:单靠任何一种都无法解释 LLM 的时间推理

    一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升(+6.8 到 +23.1 个百分点),同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点;基于认知需求的评估显示,驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分,主要奖励模型记忆时间的通常运作方式。

  35. arXiv · cs.CL36

    用上下文感知解码缓解 Chain-of-Thought 中的查询捷径问题

    一项 arXiv 研究将上下文感知解码(CAD)应用于 CoT 推理,提出 Rationale Contrastive Decoding(RCD),通过对比有、无推理过程时基于 query 的 token 分布,放大因 rationale 而提升似然的 token,并给出 KL 正则化奖励最大化的理论解释。实验覆盖五个推理 benchmark,RCD 准确率超过标准 CoT;干预分析表明最终答案对 rationale 内容的行为依赖增强,且该方法无需训练。

  36. arXiv · cs.CL41

    LLM 何时能在检索式表格分类中超越投票带来增益?

    一项研究比较 4 个通用 LLM 与距离加权最近邻投票(Distance-KNN),在 19 个表格分类数据集上使用相同检索邻居。结果显示,在任何候选池规模下 Distance-KNN 平均准确率最高;LLM 的增益集中在检索邻居标签一致性低的场景,且在特征距离最近和中等邻域内部分 LLM 能胜出,但在最远距离组全部平均落后。

  37. arXiv · cs.CL44

    pplx-embed-v2-late 技术报告

    pplx-embed-v2-late 技术报告发布,推出 0.6B 和 9B 两款多语言、多模态 late-interaction 嵌入模型,在文本、图像和视觉文档检索 benchmark 上达到各自参数级别的 SOTA。模型由 18B 教师模型经表示蒸馏训练而来,共享嵌入空间,支持用 9B 建立文档索引、0.6B 低延迟查询的非对称部署。

  38. arXiv · cs.CL37

    RCSD:面向领域特定投机解码的强化学习与持续学习训练框架

    RCSD 是一种投机解码训练框架,将 draft 模型优化与最大化接受长度的系统级目标对齐,利用投机推理中自然产生的接受与拒绝序列构建隐式偏好对,并用 masked loss 避免惩罚与 target 对齐的 token。在多个 benchmark 上,RCSD 相比 HASS 将平均接受长度提升 35%,端到端推理速度达 HASS 的 1.35x,且不损失生成质量。

  39. arXiv · cs.CL42

    PACE:四比特循环状态的周期性且通道对齐编码方法

    PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器,只需每生成几个 token 舍入一次状态,并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上,混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当,全程 4 比特版本在同等内存下得分高于 Q-Mamba,且保持解码加速。