跳到正文
10月22日周四
  1. arXiv · cs.CL42

    DynaWeave:通过动态场景合成学习适应变化环境

    研究者提出自动化合成框架 DynaWeave,可将静态任务转化为可验证的动态场景,用 DAG 表示事件依赖并触发外生事件以训练 LLM 智能体。该框架在 36 个环境中收集了 2,095 条经验证的交互轨迹,用于对 Qwen3.5 模型做监督微调。实验显示其在 Gaia2、CostBench 和 ToolMaze 三个基准上均有一致提升,CostBench 任务完成率提高 67.34 个百分点,并在 ToolMaze 上超过 Gemini-3.1-Pro-Preview,代码已开源。

  2. arXiv · cs.CL29

    Omnilingual-MsASR:评测全模态大语言模型的长篇多说话人多语言 ASR 基准

    研究者推出 Omnilingual-MsASR 基准,评测全模态大语言模型在长篇多说话人语音识别(MsASR)上的表现,覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景,并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈,tcpWER 频繁超过 100%,细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。

  3. arXiv · cs.CL33

    Harness Scaling:面向可泛化智能体强化学习的新扩展维度

    一篇 arXiv 论文提出 Harness Scaling,将智能体 RL 的训练从单一固定 harness 扩展到多样化的执行配置。方法上构建因子化的 harness 空间,选取覆盖均衡的小型训练子集并组织跨 harness 训练。在多个 benchmark、模型规模和 RL 算法上,该方法持续提升对未见 white-box 配置的泛化,且能迁移到未见的外部 black-box harness,优于单一复杂 black-box harness 训练的模型。

  4. arXiv · cs.CL45

    TenetBench:用于评测大语言模型遵守职业伦理准则的俄语条款锚定语料库

    TenetBench 用自动化流水线从 15 部俄语职业伦理准则生成 3,433 条与具体条款冲突的请求,并配以仅合法性不同的良性对照任务。人工验证中冲突任务可信率达 0.995,模型裁判与人工标注的 Gwet's AC1 至少为 0.894。对 14 种模型与推理模式组合的评测显示,其中 11 种会在多数冲突请求下生成违规内容且大多不警告;开启推理使两个模型的拒答率减半。

  5. arXiv · cs.CL41

    强 MoE 足以胜任过程监督:专家路由作为过程奖励信号(RoCo-Rethink 与 RoCo-PRM)

    arXiv 论文提出用 MoE 模型的专家路由统计作为过程置信度信号,性能可与传统输出 logit 置信度竞争。基于总路由质量、头路由质量与步内路由变化构建路由置信度,RoCo-Rethink 识别置信度最低的推理步骤并选择性地重新生成后续轨迹,RoCo-PRM 则用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM。二者在多种 MoE 架构和多样推理任务上均优于强基线,RoCo-PRM 还可跨架构、跨任务迁移。

  6. arXiv · cs.CL42

    计时还是理解时间:单靠任何一种都无法解释 LLM 的时间推理

    一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升(+6.8 到 +23.1 个百分点),同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点;基于认知需求的评估显示,驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分,主要奖励模型记忆时间的通常运作方式。

  7. arXiv · cs.CL36

    用上下文感知解码缓解 Chain-of-Thought 中的查询捷径问题

    一项 arXiv 研究将上下文感知解码(CAD)应用于 CoT 推理,提出 Rationale Contrastive Decoding(RCD),通过对比有、无推理过程时基于 query 的 token 分布,放大因 rationale 而提升似然的 token,并给出 KL 正则化奖励最大化的理论解释。实验覆盖五个推理 benchmark,RCD 准确率超过标准 CoT;干预分析表明最终答案对 rationale 内容的行为依赖增强,且该方法无需训练。

  8. arXiv · cs.CL41

    LLM 何时能在检索式表格分类中超越投票带来增益?

    一项研究比较 4 个通用 LLM 与距离加权最近邻投票(Distance-KNN),在 19 个表格分类数据集上使用相同检索邻居。结果显示,在任何候选池规模下 Distance-KNN 平均准确率最高;LLM 的增益集中在检索邻居标签一致性低的场景,且在特征距离最近和中等邻域内部分 LLM 能胜出,但在最远距离组全部平均落后。

  9. arXiv · cs.CL37

    RCSD:面向领域特定投机解码的强化学习与持续学习训练框架

    RCSD 是一种投机解码训练框架,将 draft 模型优化与最大化接受长度的系统级目标对齐,利用投机推理中自然产生的接受与拒绝序列构建隐式偏好对,并用 masked loss 避免惩罚与 target 对齐的 token。在多个 benchmark 上,RCSD 相比 HASS 将平均接受长度提升 35%,端到端推理速度达 HASS 的 1.35x,且不损失生成质量。

  10. arXiv · cs.CL42

    PACE:四比特循环状态的周期性且通道对齐编码方法

    PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器,只需每生成几个 token 舍入一次状态,并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上,混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当,全程 4 比特版本在同等内存下得分高于 Q-Mamba,且保持解码加速。

  11. arXiv · cs.CL49

    WRDO:对齐语言模型中的加权拒绝方向优化

    WRDO(Weighted Refusal Direction Optimization)通过学习聚合权重,将逐提示词的拒绝方向组合为复合拒绝方向,改进传统差值均值单一方向的做法。该方法在三个开源权重模型上以三个 guard judge 和 HarmBench 评估,优于既有单方向方法,还可反向用于恢复被 abliterated 模型检查点的拒绝行为。论文已被 EMNLP 2026 接收。

10月21日周三
  1. Reddit · r/LocalLLaMA68

    MemT-1.0 记忆基础模型发布,将记忆内化为模型计算的一部分

    MemT-1.0 是一套把记忆内化为模型计算一部分的记忆基础模型架构,基于 Metis,采用 Gated DeltaNet-2 与逐 token 稳定记忆更新机制,并用 Mixture-of-Storage 扩展原生记忆容量,训练管线含继续预训练与后训练,共 34B token 数据。发布了 MemT-1.0-Nano 和 MemT-1.0-Flash,评测显示平均优于参数化记忆基线、与检索增强方法相当且大体保留通用能力;在 128K 历史长度下 Nano 端到端推理约 1.86× 加速、持久存储较全上下文 KV cache 减少 66 倍,并通过内化检索到的程序性经验提升 agentic 任务成功率。

    同一新闻,精选展示《MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力》

  2. Reddit · r/LocalLLaMA54

    TokenGate 论文提出可学习 token 剪枝,将长上下文 prefill 提速 1.4-11.3 倍

    TokenGate 是一个即插即用小组件,通过受 MoE 启发的 token-gated attention 机制实现端到端可学习的 token 剪枝,用于加速和降低长上下文 prefill 的内存占用。在多种任务上实现 1.4-11.3 倍更快 TTFT 和 1.5-3.4 倍更低峰值内存且无精度损失,较此前最优 token 剪枝方法最高 6.4 倍提速和 2 倍内存降低;可适配 Qwen3 等标准 Transformer 及混合注意力模型,适配成本类似参数高效微调。代码与论文见 arXiv 2610.26754 和 GitHub。

  3. Reddit · r/LocalLLaMA52

    Specter 论文提出量化多步投机卸载加速单 GPU MoE 推理

    arXiv 论文 Specter 提出一种 MoE 推理系统,用量化让轻量 draft 模型在设备上运行,对未来专家使用做多步投机预判,提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x(最高 1.88x)的 TPOT 加速,让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos,论文见 https://arxiv.org/abs/2511.14102。

  4. arXiv · cs.AI41

    Racer:用符号等价检查猎捕 GPU 内核 Bug

    Racer 是一个 PTX 级符号等价检查引擎,在符号输入上执行内核与参考实现,将输出变为精确代数表达式以区分浮点误差与逻辑 Bug。它通过 Shape Reduction、lockstep CTA 调度器和带精确数值反驳的 idiom 模板三项技术实现生产级可用。在来自 41 个收集目标的 2,408 个生产内核上,Racer 发现 23 个库中的 82 个真实 Bug,其中 76 个为未知 Bug,41 个已获确认。

  5. arXiv · cs.AI37

    TaskWAM:解决世界-动作模型中的阶段混淆问题

    研究者提出 TaskWAM,一个闭环、阶段感知框架,用 Mode Tokens 表示细粒度任务要求、用 State Tokens 追踪执行进度,解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的 Stage Confusion 问题。论文同时发布多阶段操作基准 StageBench。实验显示 TaskWAM 在仿真与真实任务上有效减少混淆并达到与 SOTA 方法相当的性能,且可即插即用迁移到单臂、双臂、灵巧手和人形机器人等异构 WAM 架构与机器人本体。

  6. arXiv · cs.AI54

    Stratified Sparse Attention 论文提出确定性检索结合分数引导采样以缩小极端稀疏下与稠密注意力的差距

    Sahil Joshi 等在 arXiv 发布论文,提出 Stratified Sparse Attention(SSA),将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上,SSA 均优于基线;RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下,32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%,分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后,1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍,代码已开源。

    推荐理由:论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据,方法可复用,代码已开源。

  7. arXiv · cs.AI13

    MOTION:基于演化用户-位置图社区一致性的人类移动生成框架

    研究者提出 MOTION,一个用于社区一致性人类移动生成的多智能体框架,将移动生成形式化为动态用户-位置图生成。该框架由用户 agent、位置 agent 和全局管理 agent 组成,先用 Leiden 算法检测历史移动中的社区并提取社区条件交互先验,再由用户 agent 规划移动、位置 agent 从社区视角推断到达、管理器协调两视角并定向反思修正。在两个真实数据集上,MOTION 在个体轨迹、人口与流量分布、社区与图结构等指标上比基线至少高出 4.05%,代码已开源。

  8. arXiv · cs.AI34

    论文主张:AI 涌现的判定应以信息分解为理论基础

    一篇入选 NeurIPS 2026 Spotlight 的论文提出,用信息分解作为统一形式框架来操作化 AI 系统中关于涌现与协同的评估。该框架区分组件独有的信息、多组件共享的冗余信息和只有组合才能获得的协同信息,并给出可证伪标准:系统行为只有在携带关于任务结果的协同信息时才可称涌现。论文将这一视角应用于注意力头、自主智能体和人机团队。

  9. arXiv · cs.AI33

    G-JEPA:在潜在世界模型中探索时序上下文感知的物理接地

    研究者提出 G-JEPA,将时序上下文显式引入 JEPA 世界模型的物理接地,并结合先验引导的动作规划。该方法用共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,规划时通过以当前与目标潜在表征及其差异为条件的生成式动作分布进行动作推理。实验显示该模型在操作任务上规划性能提升,包括初始与目标观测时序间隔增大的任务,代码已公开。

  10. arXiv · cs.AI51

    Carlo Ciliberto 提出 Proof-Carrying Contracts 框架,用机器可验证证明约束 AI 智能体行为

    Carlo Ciliberto 在 arXiv 发布论文,提出 Proof-Carrying Contracts(PC2)框架,要求智能体在执行操作前提交机器可验证的证明,说明该操作在其模型允许的所有情况下都保留约定约束。名为 Airlock 的执行系统负责检验证明并控制访问,论文证明了约束在执行全程每个时刻都成立,即使智能体是对抗性的,并提供可复用能力模块用于构建合约。

  11. arXiv · cs.AI21

    基于 SSM 的脉冲神经网络实现模型级与层级闭环时间序列预测

    一项研究提出基于 SSM 的脉冲神经网络(SNN)闭环预测方法,解决 SNN 自回归预测时依赖不可得数值的问题,包括模型级和层级两种策略。在 ETT-small 基准上,两种方法与 S4 的 zero-masking 基线相当或更好,多数情况下可与 SpaceTime 等最先进方法媲美。结果显示连续激活与低比特量化激活之间的权衡,证明 Deep SSM 架构可作为有竞争力的预测框架。

  12. arXiv · cs.AI11

    ECG 推断实验室指标:一项全面的生理学与技术分析

    这篇论文研究用多模态深度学习从 ECG 记录和患者元数据预测 NT-proBNP,并评估其生理合理性。基于 MIMIC-IV 的回归、二分类和三分类实验显示,12 导联配置持续优于 lead II 单导联:回归 MAE 为 534.98 pg/mL(单导联)对 514.27 pg/mL(12 导联),二分类 AUROC 分别为 0.849 和 0.876。结果表明精确回归仍有挑战,但更宽浓度范围的分类效果较好;实验仍需独立数据集验证。

  13. arXiv · cs.AI41

    DecisionPivot:面向 LLM 系统决策模型的诊断性 Benchmark

    DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark,包含 48 个任务、40,033 个条目和七种决策角色,核心 track 有 7,800 个条目组成的对照组。评测显示,两个在 reference track 上仅差 2.6 分的 27B 模型,对照组准确率分别为 70.1% 和 44.2%;Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%,但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率,最低设置下为 81.5%。

  14. arXiv · cs.AI54

    REACT 框架:VLM 引导接触重定向与生成式伙伴建模用于人形机器人与人交互

    论文提出 REACT 框架,从人类双人示范中学习可部署的人形机器人交互策略,用 VLM 引导的接触建模与重定向提取语义接触,并将特权策略蒸馏为仅靠机载深度感知的部署策略。为应对严重部分可观测,引入生成式伙伴状态建模目标预测被遮挡伙伴运动;在仿真和真实 Unitree G1 上评测五项接触丰富交互,实机上仅靠机载感知完成全部五项。

    推荐理由:论文聚焦近距离接触时人形机器人看不到人类伙伴的难题,用语义接触结构作为监督信号,并给出了仿真与 Unitree G1 实机的验证。

  15. arXiv · cs.AI51

    arXiv 论文提出数据中心的 2 比特后训练量化与恢复配方

    arXiv 论文提出数据中心的后训练量化方法,突破 4 比特边界,在 2 比特下用向量码本表示、任务对齐校准数据与仅码本的恢复微调三要素组合,将标量 PTQ 崩溃到随机水平的模型恢复可用。该配方在 3.8B 到 32B 的六个稠密与 MoE 模型上每权重约 2.3 有效比特,保留 89 到 97% 的全精度问答准确率,计算量比最强 QAT 基线少 1.4 到 30 倍。

  16. arXiv · cs.AI35

    人类能通过辩论修正判断,但较弱的 AI 模型不能(arXiv 论文)

    arXiv 论文(arXiv:2610.28539)研究 AI Safety via Debate 能否引导人类与 LLM 监督者克服先验信念趋向真相。结果显示辩论能提升人类评委相对先验信念的准确率,而单专家咨询基线不能;较弱语言模型在多数设置中无对应收益,甚至降低准确率,且人类监督者中加权投票准确率最高,LLM 多评委协议则均无显著提升。这支持辩论作为可扩展人类监督的路径,但对高风险场景下全自动训练与控制管线提出质疑。

  17. arXiv · cs.AI37

    LeWi 方法通过学习计算结构提升样本效率

    论文提出 Learned Wiring(LeWi):每个神经元拥有可学习的低维嵌入,仅连接邻近神经元,嵌入与权重联合训练,以利用目标的组合稀疏结构。基于 CSFRBench 及 32 个独立采样计算图生成的目标,LeWi 在未获知目标图的方法中样本效率最高,学习曲线面积比稠密网络平均低 27%。在 17 个世界模型预测任务上,LeWi 在 16 个任务上超过稠密基线,119 次基线对比中获胜 99 次。

  18. arXiv · cs.AI32

    LLM 何时有助于特征选择?一项系统性实证研究

    一项基于 18 个数据集的实证研究比较了五种经典方法、frozen Qwen2.5-7B 与 Llama-3.3-70B 选择器以及两个 GRPO 适配的 Qwen2.5-7B 模型在表格特征选择中的表现。结果显示,经典选择器在预测性能上普遍优于 7B LLM/RL 选择器。但语义敏感性实验表明,Zero-shot Qwen-7B 在回归任务上从有信息量的特征名获益(相比匿名化 +0.1964、打乱 +0.1606 平均 R^2),分类任务差异较小且依数据集而异。

  19. arXiv · cs.AI35

    AnomalyAgent:基于视觉语言模型的智能体集成视觉异常检测方法

    研究者提出 AnomalyAgent,一种用于视觉异常检测的后训练融合框架。该框架对齐异构检测器的分数与异常图,将融合建模为有限动作选择问题,用受约束的 VLM 检查高冲突样本并选择分数动作和图动作。在 MVTec AD 与 VisA 上,AnomalyAgent 相比等权融合持续提升,取得了对比融合方法中最优的 mean image AUROC 和 pixel AP。

  20. arXiv · cs.AI28

    OptScientist:自动发现优化定律的新框架

    研究者提出 OptScientist,一个从数据中自动发现符号化优化定律的框架,由符号优化问题推断模型和结合文献先验的 LLM 智能体系统组成。在含 99 个物理优化问题的新基准 OptFeynman 上,它对超过 80% 的问题恢复出真实定律,显著优于机器学习、符号方法和 LLM 基线。在人类风险决策与央行货币政策数据上,其发现的定律在留出预测性能上与主流基线相当,且参数更少、token 消耗显著更低。

  21. arXiv · cs.AI47

    用 LLM 进化搜索优化生成式检索的语义索引

    一项研究提出用 LLM 驱动的进化程序搜索来改进生成式检索(GR)中的语义标识符设计,据称是该方法首次应用于 GR。框架使用本地部署的开源 31B 模型变异可执行组件,并以 1M 参数代理解码器替代反复训练 1B 目标生成器提供快速反馈,代理与目标 Recall@100 的 Spearman ρ 达 0.90。在 NQ320K 上,联合进化 SID 构建与碰撞处理将 Recall@1 从 55.8% 提升至 59.3%,Recall@100 从 85.8% 提升至 90.6%。

  22. arXiv · cs.AI52

    35B MoE 智能体模型 Sage-A1.5 发布技术报告

    Wenjie Lou 等人发布 Sage-A1.5 技术报告,这是一个基于 A1 的 35B Mixture-of-Experts 智能体模型,通过自适应能力组合推进长程问题求解。报告提出三项改进:通过任务委派与子智能体隔离上下文并行协作的智能体编排,包含进度检查、证据验证与反思式策略修订的智能体验证,以及超越回答预设问题的开放科学探索能力;模型 checkpoints 已开放。

    推荐理由:报告说明了子智能体并行协作、验证与开放科学探索三项改进的设计,适合关注长程智能体任务执行方法的读者。

  23. arXiv · cs.AI23

    Tessera:面向空间转录组学的空间感知且方向敏感的表征学习框架

    研究者提出空间表征学习框架 Tessera,结合空间感知的基因选择与几何归纳偏置,通过建模细胞间相对关系实现平移不变且保留方向。在跨组织与技术的留出测试中,Tessera 表征质量优于现有空间基础模型,并可零样本泛化到比训练时最大 16× 的上下文。该工作已被 NeurIPS 2026 AI4DD workshop 接收。

  24. arXiv · cs.AI32

    CoRAL:混合扩散-自回归框架突破多模态推理的序列性瓶颈

    论文提出混合框架 CoRAL,采用非对称 Planner-Executor(APE)架构:扩散语言模型 Planner 并行生成 K 条推理轨迹,大型自回归模型 Executor 择优并合成最终答案。训练中引入 Reward-Guided Denoising for CoT(RDC),将结果奖励融入扩散过程以引导目标导向推理。视觉语言基准实验显示 CoRAL 显著优于已有扩散方法,并对强 ARM 达到有竞争力的性能,兼顾效率与质量。

  25. arXiv · cs.AI32

    SceneRig:从单张图像重建可仿真 3D 场景的智能体系统

    SceneRig 是一个智能体系统,可将单张图像转化为可编辑、仿真就绪的 3D 场景。它结合几何、视觉与物理工具进行重建,并让智能体在物理仿真器内执行"编辑-验证"循环以确保物理稳定性。相比基线方法,其场景能更准确预测真实机器人策略结果,并更可靠地支持录屏操作的回放而无需轨迹适配。

  26. arXiv · cs.AI35

    RTL 修复基准实际测量的是什么?

    研究者构建 RTLRepairDataset(5,784 组(broken, fixed)训练对)和 RTLRepairBench(459 个保留测试用例,含 374 个语法变异和 85 个行为变异),并支持仿真与形式等价评测。审计发现两个测量混淆:仿真与形式化评分对是否提供规格说明的效应符号相反,六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。

  27. arXiv · cs.AI62

    Agent S4 论文提出演化式智能体界面,在 OSWorld V2 达 21.3% 开源 SOTA

    论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。

    推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。

  28. arXiv · cs.AI26

    将 TS2Vec 改造为时间序列分类基础模型

    研究表明,TS2Vec 经三项改动可从逐数据集训练的自监督方法变为通用基础模型:在合成语料上预训练、用双 stem 输入原始幅值与实例归一化形状两个视图、将两个专家编码器蒸馏为单编码器。所得 TS2Vec-FM 为 1.6M 参数的膨胀卷积网络,冻结后在 UCR-128 线性探测达 83.3%、UEA-27 达 75.3%,距 SOTA 的 MantisV2 仅 0.3 pp,且不依赖 attention、patch tokenizer 或中间层提取。