跳到正文
10月16日周五
  1. arXiv · cs.AI25

    ScoutRoute:利用大语言模型内部信号实现高效 MoE 路由

    ScoutRoute 是一种轻量级事后路由框架,通过对低成本 scout 模型的单次前向传播提取内部语言模型信号,用 logistic 探针结合 logit 置信度估计异构专家模型的能力,无需修改底层模型。该方法在 5 个开源语言模型和 4 个覆盖数学推理、代码生成、常识推理与多学科知识的基准数据集上评测,一致优于单一路由信号,且能力探针的校准优于传统置信度度量。

  2. arXiv · cs.AI26

    PolicyLift:从观测数据中进行生成式策略改进

    研究团队提出 PolicyLift,一个从观测数据出发、针对文本消息或图像等复杂结构化动作进行生成式策略改进的三阶段框架。该框架先学习离散动作编码,再学习基于上下文的编码级策略,最后以编码为条件生成动作,并从理论上证明编码级策略的提升可保证原始动作空间策略的提升。在合成数据与真实文本生成任务实验中,PolicyLift 均一致优于行为策略。

  3. arXiv · cs.CL54

    arXiv 论文提出 First-Token Cueing 探针:许多闭卷错误源于首 token 召回失败

    Jaewon Sok 在 arXiv 发表论文,提出许多闭卷事实错误源于模型在首 token 选错,而答案知识已编码在模型中。实验显示在 16 个开源模型上,仅预填正确首 token 就能纠正英文 QA 多 token 答案中五分之一到一半的错误,并在多语言基准的全部 7 种语言中提升准确率;这类可恢复错误集中在首个解码步骤,是推理时方法可能收益最大的位置。论文链接 https://arxiv.org/abs/2610.23400v1

    推荐理由:论文给出 First-Token Cueing 探针和 16 个开源模型的实测数据,把一类闭卷错误定位到首个解码 token,可借机了解推理时干预的着力点。

  4. arXiv · cs.AI41

    AWAM:主动轨迹条件视角想象,实现更稳健的机器人操作

    研究提出 AWAM(Active World-Action Model),一种主动规划观察位置并在执行前沿规划轨迹想象所见画面的虚拟主动感知范式。该模型将任务相关虚拟相机运动作为结构化查询输入几何条件世界模型,生成可复用空间先验,压缩为固定记忆后通过 cross-attention 与实时观测融合,进行基于扩散模型的动作预测。AWAM 在 LIBERO-Occ 上达 75.9%、LIBERO-Plus 上 62.4%、RLBench-OG Occlusion1 上 76.5%、真机实验中 94.4% 成功率。

  5. arXiv · cs.CL10

    SentenceETM:结合词汇与上下文证据的句子级主题模型

    SentenceETM 是一种神经主题模型,通过联合词汇与上下文证据为每个句子分配主题,弥合词级概率模型与文档级 Transformer 方法之间的粒度困境。每个主题由词嵌入上的分布和聚焦低维子空间的句子嵌入高斯共同描述,文档比例用摊销变分推断推断,高斯参数以闭式解重估。实验显示其在句子级主题分配上持续优于 SOTA 方法。

  6. arXiv · cs.AI49

    LLM 安全证据路径失效:研究揭示框架演进边界的监控有效性问题

    一项 arXiv 研究提出 canary contracts 协议,检测 LLM 框架中证据已被识别却未送达决策点的监控失效问题。该协议在 11 个 LLM 或 agent 安全项目组、四个实现生态中确认 18 起证据路径失效,其中 14 起触及 E1 执行边界。研究建议对框架演进的 schema、流、工具和适配器层进行回归测试。

  7. arXiv · cs.AI19

    OliO:基于 ODE 的线性转移算子用于自监督时间序列预测

    研究者提出自监督学习方法 OliO,通过线性常微分方程(ODE)导出的转移算子,将双向时间流建模为连续且结构一致的动力学系统,以对齐任意时间跨度上的潜在表征。对转移矩阵施加严格上三角约束,确保数值稳定并防止无约束 ODE 模型的指数发散。实验显示 OliO 在多种骨干架构与基准上取得显著提升,MSE 较最强 SOTA 基线最多降低 5.75%,代码已开源。

  8. arXiv · cs.CL59

    arXiv 论文提出 LM2LM,用 RL 训练大语言模型生成有效的模型改进提案

    论文提出 LM2LM,用强化学习训练大语言模型生成语言模型改进提案,并以研究世界模型(RWM,一个冻结 LLM)从真实实验记录预测提案收益作为奖励,定期执行高排名提案以更新上下文保持反馈可靠。在八个自回归与扩散 LM 开发环境中,Qwen3.8-27B 经 LM2LM 训练后在留出任务上超越获得 300 条真实实验记录的 GPT-6-sol,数据生成成本降低 33%,并能泛化到训练未见的模型家族。论文链接 https://arxiv.org/abs/2610.23344v1

    推荐理由:论文用研究世界模型替代真实训练反馈来训练改进提案模型,并给出跨八个环境与 GPT-6-sol 的对比数据,方法可参考。

  9. arXiv · cs.CL48

    SchemaShield-Lite:应对接口漂移的 LLM 智能体函数调用鲁棒性方法

    一项新研究提出免训练的修复层 SchemaShield-Lite,结合 schema 验证、候选集重试和一次性约束修复,提升 LLM 智能体在接口漂移下的函数调用鲁棒性。在 Qwen3.5-9B 上,该方法将 DICE-300 准确率从 0.717 提升至 0.813,BFCL-200 从 0.580 提升至 0.805,分别恢复 19/22 和 33/45 个漂移导致的失败,且未观察到修复副作用。消融实验显示候选集漂移(尤其是干扰工具)是主要损害来源。

  10. arXiv · cs.AI31

    AgentOnto:面向企业数据分析的本体引导 LLM 智能体

    研究者提出 AgentOnto,一个本体引导的 LLM 智能体,将数据库、业务文档与既有示例任务中的异构企业知识组织成本体,用于直接引导分析并吸收已确认的反馈,还能通过自生成分析任务迭代优化本体。在两个公开数据源上,AgentOnto 显著优于代表性方法,模块级评估验证了本体构建、分析与更新各环节的有效性,实际企业部署也展示了其实用价值。

  11. arXiv · cs.AI46

    MemCompile:查询条件化的长期智能体记忆编译框架

    MemCompile 是一个面向长期对话记忆的查询条件化证据编译框架:Address Plane 通过带来源链接的描述符和容量感知 Cells 定位相关支持,并经归一化边界将异构检索结果统一为稳定的 SourcePacket;Evidence Plane 则在有限证据预算内选择并渲染出可直接作答的上下文。该框架在 LoCoMo 上取得 80.52% 的 Judge Accuracy,将质量-成本 Pareto 前沿推向更高质量区间,并在 LongMemEval-S 上同样表现强劲。

  12. arXiv · cs.CL26

    自反思思维链(SRCoT):基于边缘 LLM 的 Retrieve--Reflect--Revise 闭环架构

    研究者提出自反思思维链(SRCoT),将 LLM 生成组织为 Retrieve--Reflect--Revise 闭环,把环境状态、持久知识、经验与短期记忆分入带来源标注的存储,用 BM25 检索提供本地上下文。原型在配备 128 GB 内存的 Apple M4 笔记本上本地运行,于急救医疗和 Munich-Sim 应急仿真两个合成场景中展示了来源标注、缺失标记与结构化输出。作者强调这是研究性概念验证,尚未证明幻觉减少或操作安全性,且需人工审查。

  13. arXiv · cs.CL23

    基于 LLM token 概率从 L2 英语推断母语背景

    一项研究提出用 token 概率评分方法进行母语识别(NLI):将文本样本作为指定候选母语的前缀的续写打分,选取得分最高的候选者。实验使用 Llama 3.1 8B 和 70B,在 TOEFL9、Write and Improve 2024 和 BULATS-L1 三个数据集上评估,结果显示该方法显著优于直接分类提示,70B 模型在所有数据集上达到 SOTA。

  14. arXiv · cs.AI55

    MobileInject 基准评估移动端 MLLM 智能体的多模态注入与推理到执行安全

    研究团队发布 MobileInject,首个评估移动端 MLLM 智能体多模态注入攻击与推理到执行安全风险的基准,包含 11 个场景、9 类安全风险和 108 个可执行风险实例。其提出跨模态一致性注入方法及 Multi-Role Collaborative Deception、Reasoning-Camouflage Injection 两种增强攻击,实验显示移动智能体普遍易受多模态注入影响,许多失效源于早期阶段的推理劫持。论文地址 https://arxiv.org/abs/2610.23307v1。

    推荐理由:论文给出了针对移动端多模态智能体的注入攻击基准,覆盖 11 个场景 108 个风险实例,可用来定位智能体早期推理被劫持的失效点。

  15. arXiv · cs.CL33

    SimOPD:面向在线策略蒸馏的关系型知识迁移方法

    arXiv 论文提出 SimOPD,通过响应相似度分布将教师模型内部知识迁移给学生,避免直接隐状态匹配带来的特征空间绑定。学生在自身表示空间内匹配相似度分布,无需跨模型投影。实验显示,SimOPD 在同架构和跨架构设置下较最强基线分别提升最多 2.6 和 3.1 个百分点。

  16. arXiv · cs.AI39

    面向不完美提示词的设计:基于知识图谱的 LLM 企业数据助手仿真评估

    一项设计科学研究在企业 CFO 单位数据湖的真实部署中发现,业务用户的提示词常缺少 schema 引用和结构信息。研究设计并对比了两种语义中介方案:基于语义相似度的 schema 中介,以及利用从数据湖自动构建的知识图谱的中介。仿真评估结合 LLM-as-a-Judge 与人工验证显示,知识图谱方案在 Precision、Recall、F1 和保留用户意图上均优于 schema 方案。

  17. arXiv · cs.AI42

    Optimist Deep Research:面向自主文献研究的迭代式、以状态为中心的开源智能体

    开源智能体 Optimist Deep Research 将文献研究作为对显式可变研究状态的迭代证据获取过程:研究问题被拆解为子问题树,检索覆盖 arXiv、OpenAlex、Crossref、PubMed、Semantic Scholar 和网络,经四层去重和引文滚雪球扩展至饱和。文档并行读入结构化证据库,批评者沿八个维度返回研究行动而非二元判定,最终报告逐节生成且每条引用都可溯源。案例研究约三分半钟读完 237 篇检索文档中的 28 篇。

  18. arXiv · cs.AI27

    FlashReFocus:秒级交互式图像重新对焦

    FlashReFocus 实现单张照片的秒级交互式重新对焦:每张照片只需运行一次 diffusion,后续编辑由轻量网络渲染,相比 GenRefocus 对焦快 148.3 倍,进一步编辑仅需约半秒(快 462 倍)。其一步 diffusion 去模糊器结合显式 defocus map 与 defocus-bias attention,可在保持对焦内容不变的同时支持移轴与双焦平面编辑。模型在 EBB! 和自建三相机基准 3CReal(89 对图像)上取得零样本 bokeh 渲染的最佳感知保真度。

  19. arXiv · cs.AI45

    CoTA++:从信息流视角解析 dMLLM 的重复诅咒

    扩散多模态大语言模型(dMLLM)依赖近似 KV 缓存加速解码,但会引发相邻位置重复同一 token 的「Repeat Curse」。研究者从信息流视角定位了步内注意力分散、跨步过期状态解码和深层熵不收敛三类扰动,提出免训练即插即用的 CoTA++,包含注意力重锚定、Decode-Aware Refresh 和熵引导投票三个组件。在三个 dMLLM 和两个缓存后端上,CoTA++ 将长回复重复率从最高 99.6% 降至至多 17.0%,在九个 benchmark 上挽回大部分精度损失,且缓存加速仅增加不到 15% 开销。

  20. arXiv · cs.CL37

    Annotrace:一个面向 Agent Trace 逐步骤标注的工作台

    Annotrace 是一个用于对 LLM Agent trace 进行步骤级标注的工作台,可读取 OpenTelemetry GenAI、LangSmith、Langfuse 等六种 trace 格式,把每次运行转成有序嵌套的步骤列表,并让前沿模型与人类按同一套 codebook 联合标注。在多智能体问答语料上,它精确复现了此前人工标注的 235 个标注单元;两个模型标注同一批 trace 时一致率达 91%(κ = 0.82)。

  21. arXiv · cs.CL42

    VERITAS 通过言语化模型计算检测思维链忠实性

    研究者提出 VERITAS 方法,通过层间 Jacobian 投影言语化模型内部计算,追踪推理锚点如何在各层间迁移并出现在输出中,以检测思维链(CoT)忠实性。在 FaithCoT-Bench 与 BonaFide 的四个数据集上,VERITAS 的 balanced accuracy 较 LLM-as-Judge 提升 28.4%,较 activation probing 平均提升 16.0%,且可泛化到不同数据集与模型架构。

  22. arXiv · cs.AI43

    超越边际影响:面向 LLM 智能体的交互感知记忆选择方法

    一项 arXiv 研究提出 LLM 智能体的逐决策记忆充分性问题:从全部记忆中选出小规模子集以保持完整记忆行为。作者推出含九类交互、六个工作流领域的 JointCoreBench 基准和按相关性代价排序的组删除基线 JointCore。在 6,912 个精确条件下,JointCore 100.0% 恢复最小代价充分集,将子集评估从 30.00 降至 11.13(减少 62.9%),实现 87.8% 活跃记忆节省;在四个 12B-70B 模型族上均值为 10.28 对 16.00 次模型查询。

  23. arXiv · cs.CL56

    arXiv 论文提出 Self-Instructed CoT Controllability:推理模型在自我指令下能更好控制思维链

    论文提出 Self-Instructed CoT Controllability 评测方法,把约束作为自我指令放进思维链内部来测量模型遵循能力,结果显示自我指令下的可控性显著高于用户提示指令,即便只是提醒模型遵循用户约束也能明显改善。作者还演示了自我指令可用于监控规避,对 CoT monitorability 构成风险。

    推荐理由:论文把 CoT 约束从用户提示挪进模型自我指令后可控性显著提升,并指出这会威胁 CoT 监控的可信度。

  24. arXiv · cs.AI37

    PrefMind:面向多模态响应生成的在线多智能体偏好学习方法

    研究者提出 PrefMind,一个在线双智能体强化学习框架,用响应 Generator 和偏好 Critic 两个可训练智能体替代基于打分的 RLHF 流程,让模型通过显式判断与纠错学习人类偏好的内在原因。人类标注监督两个智能体的判断与修正,双方在交互中联合更新。三个模型规模上的实验显示,偏好判断能力和下游响应生成都得到提升。

  25. arXiv · cs.CL60

    SPLIT 论文提出在验证器不完美时分配测试时算力的方法

    arXiv 论文 2610.23255 提出 SPLIT,用小规模标注试点通过经验贝叶斯拟合精确公式,在固定预算下规划采样数量、模型选择与验证开销,覆盖接受/拒绝和最高分选择两类验证方式。在七个基准、26 个模型、175 个智能体系统和六类真实验证器上,SPLIT 距事后最优分配仅差 0.02-0.8 个百分点,而所有测试的固定规则在部分场景至少损失 2.5 个百分点;该公式还解释了何时增加 LLM judge 反而降低精度,代码将发布。

    推荐理由:论文提出用小规模标注试点来规划测试时算力分配,覆盖26个模型和六类真实验证器的实验规模可作方法参考。

  26. arXiv · cs.CL63

    arXiv 论文揭示小体量工具调用 Agent 低提示注入成功率背后多数是忽略而非拒绝

    arXiv 论文审计了 11 个开源权重 Agent(2-14B)在 InjecAgent 与 AgentDojo 上的 33,000 条轨迹,发现失败攻击中 76-80% 是忽略而非拒绝(17-18%)。仅改系统提示词即可让 InjecAgent ASR 从 0.2% 变到 43%;其提出的 Attack-Task Outcome Matrix(ATOM)显示 AgentDojo 中 21.7% 的回合 Agent 安全但未完成用户任务,建议评测同时报告攻击失败方式与任务完成度,并开放了标注语料、judge 提示词与分析代码。

    推荐理由:论文指出低攻击成功率掩盖了安全失败方式,提供了按失败类型与任务完成度拆解评测的可迁移方法。

  27. arXiv · cs.CL45

    谁为高效推理买单?基于置信度的大语言模型小到大路由在任务与语言间的评测

    一项 arXiv 研究系统评测了基于置信度的小到大 LLM 路由,覆盖 3 个模型家族、4 种语言、3 类任务、72 种配置和 42,288 条预测。在 Belebele 与 SIB-200 上,50% 升级率下比随机路由分别提升 1.40–4.67 和 2.54–5.63 个百分点;但在 MMLU-ProX-Lite 上平均 AUC 仅 0.510,无一致收益。全局置信度路由存在高达 30.33 个百分点的语言升级差距,而等额配额路由能消除该差距且整体精度损失很小。

  28. arXiv · cs.CL47

    思考更多还是阅读更多?共享上下文下推理的 token 预算理论

    一项 arXiv 研究提出 token-budget 理论,形式化建模多智能体辩论与自我细化中“读与推理共享固定 token 窗口”的权衡,并由单智能体测量预测最优智能体数量。跨 5 个开源模型和 4 个推理任务,self-consistency 在 980 组匹配的窗口与组规模设置中 93% 的情况下持平或超过已部署的辩论方法,窗口越紧张差距越大。结论是共享窗口下模型剩余的思考空间比其阅读内容更重要。

  29. arXiv · cs.CL39

    MGE-PO:面向数学推理的熵感知信用分配方法

    论文提出 MGE-PO,通过结合验证正确性与 rollout 生成熵的四象限(4Q)优势塑形,改进 GRPO 对同等奖励响应不做区分的问题,并辅以在线熵问题课程。在 Qwen3-8B-Base 上训练八个 epoch 后,4Q 使六基准 macro avg@32 绝对提升 3.23-3.69%、macro pass@32 提升 4.24-11.06%;在 Qwen2.5-7B-Base 上将四基准 macro avg@32 从 41.5% 提升至 45.4%。

  30. arXiv · cs.CL36

    MultiAgent-OPD:基于 On-Policy Distillation 的分层多智能体系统端到端训练方法

    arXiv 论文提出 MultiAgent-OPD,将 on-policy distillation 与强化学习结合,端到端联合训练共享参数的 Leader-Searcher-Answerer 多智能体团队。冻结的 Teacher 模型对 Searcher 生成的搜索和摘要 token 打分提供过程监督,Leader 从团队成败学习,Answerer 从候选答案正确性学习。在七个数据集上系统达到 38.68% macro avg@4,超过 Prompted Critic 4.06 个百分点、超过 C-MAS + RL 2.61 个百分点。

  31. arXiv · cs.AI27

    表征与分析检索增强生成(RAG)技术的概念框架

    研究者提出一个概念框架,通过多维度和子维度对现有 RAG 技术进行表征(“是什么”)与分析(“做得如何”),框架基于对文献中 RAG 技术属性的定性分析构建。它可作为实证基准测试前的预筛选机制,帮助研究者和实践者在昂贵的实测之前,选出契合特定用户与任务需求的 RAG 候选方案。

  32. arXiv · cs.CL33

    ReLaDrift:基于 Drifting 的循环语言生成方法,支持测试时扩展

    论文提出 ReLaDrift,用共享的 Drifting Model 从噪声生成初稿,并在连续潜在空间中迭代精炼,训练时仅在最终轮施加 drifting loss、只回传一轮梯度。与一步生成、无法通过迭代提升精度的 Drifting Model 不同,ReLaDrift 可在测试时计算量与生成质量间权衡。在 Sudoku Hard 和 GSM8K 上,它在多种推理预算下达到与扩散、流语言模型相当或更优的性能,代码已开源。

  33. arXiv · cs.AI20

    qGAMMA:面向多精度加速器的 DNN 最优映射框架

    研究人员提出 qGAMMA 框架,用于探索和优化混合精度深度神经网络(DNN)模型在支持多种定点与浮点精度的通用空间加速器上的映射。该框架采用领域特定遗传算法和基于硬件综合结果的解析性能模型来搜索设计空间,找出最小化目标指标的最优映射与加速器配置。在多类 DNN 工作负载上的评估表明,它有助于在性能、能效和资源利用率之间取得更好的权衡。该工作被 SAMOS XXV 接收。

  34. arXiv · cs.AI43

    并非所有测试时算力都是证据:LLM 推理中的模型特定偏差

    arXiv 论文指出,同一推理模型的重复采样、不同推理深度和自评估之间存在错误相关性,因此同模型更多算力并不等于更多独立证据。作者提出 DIA(Disagreement-triggered Independent Arbitration),当中间阶段与最终阶段预测不一致时,由一组异构模型独立求解并聚合答案。在七个基准、两个基础模型上,DIA 在 14 个设置中的 12 个优于完整 chain-of-thought,MuSiQue 提升 7.00%,仅激活约 17% 的样本,token 用量比多智能体基线最多减少 47.2%。

  35. arXiv · cs.CL18

    MAS-Bai:面向白文白语的自适应多智能体翻译框架

    研究者提出 MAS-Bai,一个面向白文(Bowen script)白语-中文翻译的语言学驱动自适应多智能体框架,针对汉字被语音借用导致的直译幻觉问题,按输入路由至轻量检索翻译路径或含词源与句法智能体的深度语文学路径,并以轻量反向翻译器的 cycle-consistency 作为推理时可靠性信号。团队构建了 6,536 句白语-中文语料,在 1,536 句测试集上 MAS-Bai 达到 16.23 BLEU 和 62.15 COMET,较 Standard RAG 提升 8.11 BLEU 和 6.85 COMET,在语音借词和语序差异场景增益最大。

  36. arXiv · cs.AI25

    用调查报告的党派接触数据验证 LLM 生成的政治网络

    一项 arXiv 研究基于 ANES 2020–2022 社交媒体研究的人物设定,用 LLM 生成政治网络,并以受访者调查报告的党派接触度作为经验基准进行验证。结果显示,部分模型生成的民主党和共和党自我节点之间的分离比调查数据更强,另一些模型则低估了共和党接触度;结构属性相似的网络仍可能在同一人物周围生成不同的党派环境,且存在群体-specific误差。这表明仅靠聚合指标评估 LLM 社会模拟会掩盖局部环境错误,需在聚合与个体两个层面进行验证。

  37. arXiv · cs.AI29

    FuzzInsight:导航覆盖引导 DNN Fuzzing 的效率-效果权衡

    研究者提出 FuzzInsight,针对覆盖引导 DNN fuzzing 中种子利用低效与覆盖引导成本高两大瓶颈给出配置分析与决策指南。其 Equalized Sampling 策略将种子队列平均利用率提升至 77%,较此前方法提高 13 个百分点;在 MNIST、SVHN、GTSRB、CIFAR-100 四个基准上评估 84 种配置,发现非结构化准则 LSCD、LSC、MDSC 以更少计算量达到相当覆盖效果。用生成的边界样本重训练可将泛化鲁棒性平均最多提升 77 个百分点,且不损害原测试分布上的性能。

  38. arXiv · cs.AI53

    OfficeTown 论文提出生成式组织模拟框架并以组织数据提升 Qwen3.5-9B

    arXiv 论文 2610.23194 提出 OfficeTown,一个从自然语言组织描述生成职业组织模拟的框架,成员协调分工、委派任务给助手智能体并评审产出,产物与未决事项持续存在影响后续工作。配套 OfficeTown Bench 含 23 个模拟组织、8 个专业领域的 406 个任务和 4,836 条评测标准;对 Qwen3.5-9B 做监督微调和 on-policy 蒸馏后在外部职业工作基准(含 GDPval)上明显提升,principal-assistant 框架得分高于所测单智能体与多智能体基线。

    推荐理由:论文把组织模拟当作智能体训练数据源,任务与评审反馈可持续生成,还验证了主从协作框架优于单智能体基线。

  39. arXiv · cs.AI32

    LangNCO:将自然语言约束编译为神经组合优化的推理时干预

    LangNCO 框架将实例级自然语言需求编译为结构化推理时干预,无需重训即可让冻结的 NCO 求解器适配新约束,LLM 作为语义前端生成经 schema 校验的 DSL 规则,由确定性 Rule Executor 施加硬动作掩码,并配合 Critical-Offset Decoding 分配 rollout 预算。在 CVRP 上评测,LangNCO 在四个主数据集实现 100% 可行性、平均参考差距 1.63–3.26%,组合成对约束时可行性 97.33–100%,额外 12 类约束上可行性 98.67%。