跳到正文
10月16日周五
  1. arXiv · cs.AI33

    HIJP 提出无搜索的潜空间规划框架,超越动作预测

    论文提出 Hindsight Inverse JEPA Planning(HIJP),用目标条件逆模型直接从当前与目标观测预测动作,替代潜世界模型中昂贵的测试时在线搜索。训练时通过未来观测重标注为目标并对齐动作转移一致性来塑造视觉表征,推理时交替使用逆动力学模型与潜预测模型生成多步动作。在四项视觉控制任务上,HIJP 总体成功率达 86.8%,规划速度较基于搜索的方法提升 1.9-16.5x。

  2. arXiv · cs.CL45

    Trajectory-Triggered Sparse Collaborative Decoding:基于轨迹特征的稀疏协作解码触发方法

    研究提出稀疏协作解码,由草稿模型生成大部分 token,仅短暂调用目标模型进行纠正,核心是何时调用目标模型。实验显示局部不确定性指标预测失败近乎随机(AUC 0.50-0.53),而基于草稿置信路径的轨迹形状特征配合轻量逻辑回归可达 AUC 0.86。在线使用时,该方法在五个 GSM8K 草稿-目标对上比最佳开环调度提升 +5.3 至 +20.0 个准确率点,在 StrategyQA 上提升 5.0-8.3 个点。

  3. arXiv · cs.AI43

    SIT-Eval:基于情境的对话智能体逐轮交互评测框架

    研究者提出 SIT-Eval,一个可调节的对话智能体评测框架:每轮由 LLM-interlocutor 扮演随机抽取的情境,由情境感知的 LLM-judge 依据适用规则评判回复。对 8 个 LLM、1292 轮对话的评测发现,总体分数相近的模型在各条规则遵循度上差异很大,所有模型在澄清歧义和苏格拉底式提问上表现最差。

  4. arXiv · cs.CL36

    并非所有提及都是断言:重新思考视觉语言模型中的对象幻觉检测

    一项研究提出 NAME-Bench,从五个 VLM 为 COCO 图像生成的字幕中标注 25,497 个对象提及,将“非断言性提及”与真实幻觉区分开。现有幻觉检测器将 14%–80% 的非断言提及误判为幻觉;把这类提及作为负样本加入训练可在 LLaVA-1.5 上基本纠正,但在四个更新的 VLM 上需五到十倍数据且会漏检更多真实幻觉。研究认为幻觉评测应区分字幕“断言”与“仅仅提及”的对象。

  5. arXiv · cs.AI52

    TIDER:RL 引导的时间定位双通道检索框架提升 LLM 智能体长期记忆

    Dabin Sheng 提出 TIDER,一个时间感知的智能体检索框架,用强化学习训练的 1.7B 时间区间定位器推断证据所在时间窗口,与语义通道结果合并后按窗口邻近度重排。在 LifeBench 上取得 61.52%(+8.82%)、LoCoMo 上取得 78.96%(+3.66%)的 SOTA 准确率,论文已被 NeurIPS 2026 接收。

    推荐理由:论文把时间约束放进检索阶段本身,用 RL 训练轻量定位器解决语义相似记忆挤掉目标记忆的问题,并给出基准数据。

  6. arXiv · cs.CL26

    基于门控多模态表示增强 RAG 医学视觉问答

    一项 arXiv 预印本研究提出多模态 RAG 框架,通过 Gated Multimodal Unit 学习融合医学图像与临床问题的联合查询表示,用于证据检索,同时保持底层 Med-LVLM 冻结。在基准数据集上,多模态查询表示持续优于参考 Med-LVLM,并与 SOTA 方法具有竞争力。

  7. arXiv · cs.CL39

    分析 LLM 训练全流程中的职业性别偏见:以 OLMo 3 为例

    一项研究通过让全开源模型家族 OLMo 3 的各后训练 checkpoint 生成职业叙事,追踪性别偏见的演变。结果显示:性别明确给出时,后训练主要提升男性画像叙事的语义多样性,女性画像在 SFT 后提升较小、经 DPO 和 RLVR 后不再显著;模型自行推断性别时则呈现女性偏向,且每个后训练阶段都单调增加女性标签概率,但 SFT 语料仅 7.7% 的女性 token 过剩,不足以解释该效应。

  8. arXiv · cs.CL54

    MARS:面向会话级 LLM 助手的记忆感知路由框架

    论文提出 MARS,一种记忆感知路由框架,通过 Query and Topic Manager(QTM)估计会话状态,统一指导记忆构建策略和在线模型选择。在 RealMem 上,MARS 以 14.5% 的生成 API 成本保留了全上下文 GPT-4o QA 性能的 98.2%,并在对比系统中取得最强的记忆召回和检索分数;在 MultiChallenge 上整体略逊于最强静态系统,但在机制导向子集上以更低成本接近其表现。

    推荐理由:论文给出记忆构建与模型路由的统一框架,并报告了在质量与成本间的具体权衡数据,可作为长程助手系统设计的参考。

  9. arXiv · cs.AI40

    SkillBrowser:面向可扩展技能型智能体的选择性技能暴露框架

    SkillBrowser 是一个由 Meta-Skill 管理的框架,让 LLM 智能体识别当前能力需求、生成针对性查询并按需选择性加载技能。在 SRA-Bench 六个子集和五个 LLM 上,其总体准确率超过静态检索和 LLM 选择基线,涵盖多步工具使用,并缓解已可解题目的准确率下降。收益仍依赖模型与任务,主要局限是有用技能调用不足和额外延迟。

  10. arXiv · cs.AI29

    基于推理标签的人类奖励建模用于偏好强化学习

    一篇 arXiv 论文提出推理引导的偏好强化学习(PbRL)框架,从轨迹级反馈中学习人类奖励模型。该框架在偏好标签之外引入解释偏好原因的 reason tags,为学习与人类对齐的奖励提供额外监督,并提升策略可解释性。学习到的人类奖励与环境奖励结合用于策略优化,使智能体在提升任务表现的同时产生更可解释、更符合人类偏好的行为。

  11. arXiv · cs.CL41

    MIST 评测诊断视频世界模型的记忆失败:瓶颈在于执行而非记忆

    研究者提出 MIST 评测,将指令变更与记忆分离,发现视频世界模型失败瓶颈在于未执行指令变更,而非遗忘。据此提出的 M3-Agent 方法递归修订输入指令细节,使模型成功执行请求,MIST reveal 得分较基线提升逾三倍,WRBench 的 T 提升 26.1%,MBench-T 的 U 提升 52.7%。

  12. arXiv · cs.CL33

    ConvexLLM:用凸包语音接口扩展通用音频智能

    ConvexLLM 是一个通用语音与音频语言模型,其 C-Gate 接口将音频表示为冻结文本嵌入的连续凸组合。该模型在 VoiceBench 十一项任务上取得 75.36 的聚合分数,是对比的开源权重模型中最高,MMAU Test-mini 准确率为 62.50%。与 2B 参数解码器的对比显示,C-Gate 在语音任务聚合表现上优于 MLP 和 Q-Former 接口,文本任务表现接近 MLP,语音知识与推理任务优势最大。

  13. arXiv · cs.CL33

    EduWild:教师配置的教育聊天机器人在真实使用中为何失败及如何修复

    研究者发布 EduWild 数据集,包含 217 个教师配置聊天机器人的 1,726 段对话,并建立 29 类失败分类法。分析显示最常见问题是未遵循教师意图:53.8% 的终端用户对话跳过必需流程步骤,37.1% 出现信息过载。基于此设计的提示词修复方案在 200 名大学生的实验中,将目标失败数从 1.406 降至 0.489,相对减少 65.2%。

  14. arXiv · cs.AI27

    Truth in Contrast:基于语言模型似然度校准事实性证据(CFE/CFP)方法研究

    一篇 arXiv 论文提出 Contrastive Factual Evidence(CFE)及其概率对应 Contrastive Factual Posterior(CFP),通过比较同一事实性陈述在事实与非事实条件下的似然度来评估 LLM 事实置信度。CFP 在保持与最强竞争者相当的事实判别能力的同时显著改善校准;但低资源语言中判别能力普遍偏弱。作者进一步沿事实证据方向将目标语言陈述与更强的英文证据对齐,无需目标语言标签即可提升判别和开放式事实生成。

  15. arXiv · cs.AI41

    LLM 叙事诱导谄媚评测:用户的叙事方式会如何左右模型判断

    一项 arXiv 研究构建了含 500 个争议问题、共 5,500 个评测实例的基准,在立场不变的情况下改变用户论证的叙事形式,测试 7 个 LLM 的谄媚程度。结果显示效应并非随叙事展开单调变化:个人经历会降低模型附和,而因果框架和世界观式综合会增加附和;GPT-5.1 消融实验表明因果框架影响最强,保留原要点的分点呈现也比段落形式更易引发附和。这表明谄媚不仅取决于用户立场,还取决于支撑解释的结构与呈现方式。

  16. arXiv · cs.CL27

    Perceive, Solve, Reason:Time Series-LLM 渐进式能力形成研究

    研究者构建首个覆盖 Perceive、Solve、Reason 三级渐进能力的时间序列-LLM 训练评测套件,含 337K 训练和 44K 评测样本。实验表明专用编码器必不可少:4B 模型在所有感知属性上超越 GPT-4o,而将序列文本化会使推理准确率下降 8–10 个百分点。按序训练的 4B TS-LLM 在无目标域数据情况下,在 8 项域外指标中的 7 项超越四个近期 7B TS-LLM,最高领先 11 个百分点。

  17. arXiv · cs.AI38

    LocalIntent:用本地 LLM 实现后端兼容的智能楼宇自动化结果导向结构化生成

    LocalIntent 是一种面向本地部署 LLM 的结果导向提示方法,将请求分流到普通命令分支或持久规则分支,并进行确定性校验。在 2B-9B 参数的 Gemma 和 Qwen 模型上测试,规则生成方面意图理解从 26.4% 提升至 80.6%,规则模式正确率从 49.1% 提升至 98.6%;非持久请求的提升较小,意图理解从 39.6% 升至 53.2%。该方法整体优于 Monolithic 和通用两阶段提示,但澄清/模式正确率仍依赖具体模型。

  18. arXiv · cs.AI26

    噪声标签下学习的拓扑签名

    一项 arXiv 研究用持续同调追踪神经网络激活中的环结构,发现噪声监督会在表征几何上留下可测量的签名。在 CIFAR-10/ResNet-18 训练探针上,corrupted-label 子集在 epoch 10 无持续同调差异,但 epoch 50 时持续同调更高,即使仅 7-11% 的 corrupted 探针样本预测与噪声标签一致。在五条 pipeline 的噪声率校准对比中,mean activation norm 的样本内 R2 均值达 0.936,高于 raw persistence 的 0.908。

  19. arXiv · cs.CL51

    MuninAI:面向独立研究组的自托管科研Agent框架

    Munin是一个开源自托管科研助手框架,可索引研究组文献库和引用图谱,并把任意开放权重模型包装成带阅读、检索和计算工具的智能体。在199组配对文献问题上,框架将基座模型准确率从0.387提升到0.874,而朴素检索式回答在所有测试骨干模型上均低于无辅助模型;移除来源论文后系统在约九成问题上放弃作答,300条伪造引用中未产生虚构的本地引用;断网状态下两个Qwen骨干模型仍超过已发表的PaperQA2准确率,其中gpt-oss-20b可在单张消费级GPU上运行。

  20. arXiv · cs.AI30

    QD-Rec:通过质量-多样性实现开放式推荐演化

    QD-Rec 是一种质量-多样性(quality-diversity)推荐方法,将开放式搜索范式引入决策场景:用 contextual bandit 选择物品,由基础模型基于档案中的已有假设生成新的自然语言理由,新的推荐只有在足够新颖或优于最近邻时才进入档案。在并购、客户定向以及论文和图书推荐等任务上,QD-Rec 在多数设置中取得最高平均质量并构建出最大的档案。

  21. arXiv · cs.AI31

    S-GAP:面向 GraphLLM 的隐蔽图攻击原语

    研究者提出图攻击原语 GAP,用统一的原子语义表示融合文本与结构扰动,避免攻击意图割裂导致的不隐蔽问题,并进一步构建多智能体框架 S-GAP 迭代优化语义内容。在 4 个数据集、3 个 GraphLLM 和 2 种攻击设置上的实验显示,S-GAP 较最强基线平均提升 ASR 7.02%,同时扰动更具关系合理性,揭示了当前 GraphLLM 的关键脆弱性。

  22. arXiv · cs.CL41

    HydraLLM:面向弹性文本与视觉语言模型的自适应宽度切片

    HydraLLM 是一种基于 MQA 的弹性架构,通过激活注意力头数量动态调整嵌入、注意力投影、FFN 与输出头的有效宽度,并在单一参数集内形成嵌套子网络家族,配有静态转弹性转换流程(重要性驱动脉冲重排、随机子网络训练与知识蒸馏)。75% heads 激活时 TriviaQA 准确率比参数多 17.25% 的 SOTA 嵌套基线高 2.2 个百分点;50% 激活时多模态模型 CLIPScore 与大 7 倍的 Gemma 3 4B 相当;25% 激活时 token 生成吞吐量较全宽配置提升 75.3%。

  23. arXiv · cs.CL39

    "You" 并非有毒:LLM 标注者如何改写网络对话规律

    LLM 标注者常把第二人称称呼误判为毒性,这一偏差制造出人类标注中不存在的“对话规律”。在 125 万条带众包标注的新闻评论上,Claude Haiku 将不含"you"的无毒评论误标 12%,含四个及以上"you"的误标 51%,导致毒性随回复深度上升(每层 +0.93 个百分点),而众包标注下反而略降(-0.12);测试的全部七个 LLM 都过度标记"you"。论文提出的 Threadsafe 方法用人工标注校正模型预测,1000 个人工标注即可排除 Haiku 的上升规律,区间宽度在 1000-8000 标注下为 DSL 方法的 0.75 倍。

  24. arXiv · cs.AI27

    RecReg:基于恢复式屏蔽的强化学习正则安全性质保障框架

    研究者提出 RecReg,一个通过恢复式屏蔽(recovery-based shielding)在强化学习中强制执行非马尔可夫正则安全性质的安全 RL 框架。该框架统一支持不同层级的先验知识与安全保证,论文主要在表格型设定下构建理论基础,提供了相关工作所缺乏的严格安全性与收敛性保证。基于 MASA-Safe-RL 库的大量实验表明 RecReg 学习高效且与理论相符,作者还概述了使用 SOTA model-based RL 扩展到深度 RL 领域的方案。

  25. arXiv · cs.AI25

    ScoutRoute:利用大语言模型内部信号实现高效 MoE 路由

    ScoutRoute 是一种轻量级事后路由框架,通过对低成本 scout 模型的单次前向传播提取内部语言模型信号,用 logistic 探针结合 logit 置信度估计异构专家模型的能力,无需修改底层模型。该方法在 5 个开源语言模型和 4 个覆盖数学推理、代码生成、常识推理与多学科知识的基准数据集上评测,一致优于单一路由信号,且能力探针的校准优于传统置信度度量。

  26. arXiv · cs.AI26

    PolicyLift:从观测数据中进行生成式策略改进

    研究团队提出 PolicyLift,一个从观测数据出发、针对文本消息或图像等复杂结构化动作进行生成式策略改进的三阶段框架。该框架先学习离散动作编码,再学习基于上下文的编码级策略,最后以编码为条件生成动作,并从理论上证明编码级策略的提升可保证原始动作空间策略的提升。在合成数据与真实文本生成任务实验中,PolicyLift 均一致优于行为策略。

  27. arXiv · cs.CL54

    arXiv 论文提出 First-Token Cueing 探针:许多闭卷错误源于首 token 召回失败

    Jaewon Sok 在 arXiv 发表论文,提出许多闭卷事实错误源于模型在首 token 选错,而答案知识已编码在模型中。实验显示在 16 个开源模型上,仅预填正确首 token 就能纠正英文 QA 多 token 答案中五分之一到一半的错误,并在多语言基准的全部 7 种语言中提升准确率;这类可恢复错误集中在首个解码步骤,是推理时方法可能收益最大的位置。论文链接 https://arxiv.org/abs/2610.23400v1

    推荐理由:论文给出 First-Token Cueing 探针和 16 个开源模型的实测数据,把一类闭卷错误定位到首个解码 token,可借机了解推理时干预的着力点。

  28. arXiv · cs.AI41

    AWAM:主动轨迹条件视角想象,实现更稳健的机器人操作

    研究提出 AWAM(Active World-Action Model),一种主动规划观察位置并在执行前沿规划轨迹想象所见画面的虚拟主动感知范式。该模型将任务相关虚拟相机运动作为结构化查询输入几何条件世界模型,生成可复用空间先验,压缩为固定记忆后通过 cross-attention 与实时观测融合,进行基于扩散模型的动作预测。AWAM 在 LIBERO-Occ 上达 75.9%、LIBERO-Plus 上 62.4%、RLBench-OG Occlusion1 上 76.5%、真机实验中 94.4% 成功率。

  29. arXiv · cs.CL10

    SentenceETM:结合词汇与上下文证据的句子级主题模型

    SentenceETM 是一种神经主题模型,通过联合词汇与上下文证据为每个句子分配主题,弥合词级概率模型与文档级 Transformer 方法之间的粒度困境。每个主题由词嵌入上的分布和聚焦低维子空间的句子嵌入高斯共同描述,文档比例用摊销变分推断推断,高斯参数以闭式解重估。实验显示其在句子级主题分配上持续优于 SOTA 方法。

  30. arXiv · cs.AI19

    OliO:基于 ODE 的线性转移算子用于自监督时间序列预测

    研究者提出自监督学习方法 OliO,通过线性常微分方程(ODE)导出的转移算子,将双向时间流建模为连续且结构一致的动力学系统,以对齐任意时间跨度上的潜在表征。对转移矩阵施加严格上三角约束,确保数值稳定并防止无约束 ODE 模型的指数发散。实验显示 OliO 在多种骨干架构与基准上取得显著提升,MSE 较最强 SOTA 基线最多降低 5.75%,代码已开源。

  31. arXiv · cs.CL59

    arXiv 论文提出 LM2LM,用 RL 训练大语言模型生成有效的模型改进提案

    论文提出 LM2LM,用强化学习训练大语言模型生成语言模型改进提案,并以研究世界模型(RWM,一个冻结 LLM)从真实实验记录预测提案收益作为奖励,定期执行高排名提案以更新上下文保持反馈可靠。在八个自回归与扩散 LM 开发环境中,Qwen3.8-27B 经 LM2LM 训练后在留出任务上超越获得 300 条真实实验记录的 GPT-6-sol,数据生成成本降低 33%,并能泛化到训练未见的模型家族。论文链接 https://arxiv.org/abs/2610.23344v1

    推荐理由:论文用研究世界模型替代真实训练反馈来训练改进提案模型,并给出跨八个环境与 GPT-6-sol 的对比数据,方法可参考。

  32. arXiv · cs.CL48

    SchemaShield-Lite:应对接口漂移的 LLM 智能体函数调用鲁棒性方法

    一项新研究提出免训练的修复层 SchemaShield-Lite,结合 schema 验证、候选集重试和一次性约束修复,提升 LLM 智能体在接口漂移下的函数调用鲁棒性。在 Qwen3.5-9B 上,该方法将 DICE-300 准确率从 0.717 提升至 0.813,BFCL-200 从 0.580 提升至 0.805,分别恢复 19/22 和 33/45 个漂移导致的失败,且未观察到修复副作用。消融实验显示候选集漂移(尤其是干扰工具)是主要损害来源。

  33. arXiv · cs.AI31

    AgentOnto:面向企业数据分析的本体引导 LLM 智能体

    研究者提出 AgentOnto,一个本体引导的 LLM 智能体,将数据库、业务文档与既有示例任务中的异构企业知识组织成本体,用于直接引导分析并吸收已确认的反馈,还能通过自生成分析任务迭代优化本体。在两个公开数据源上,AgentOnto 显著优于代表性方法,模块级评估验证了本体构建、分析与更新各环节的有效性,实际企业部署也展示了其实用价值。

  34. arXiv · cs.AI46

    MemCompile:查询条件化的长期智能体记忆编译框架

    MemCompile 是一个面向长期对话记忆的查询条件化证据编译框架:Address Plane 通过带来源链接的描述符和容量感知 Cells 定位相关支持,并经归一化边界将异构检索结果统一为稳定的 SourcePacket;Evidence Plane 则在有限证据预算内选择并渲染出可直接作答的上下文。该框架在 LoCoMo 上取得 80.52% 的 Judge Accuracy,将质量-成本 Pareto 前沿推向更高质量区间,并在 LongMemEval-S 上同样表现强劲。

  35. arXiv · cs.CL26

    自反思思维链(SRCoT):基于边缘 LLM 的 Retrieve--Reflect--Revise 闭环架构

    研究者提出自反思思维链(SRCoT),将 LLM 生成组织为 Retrieve--Reflect--Revise 闭环,把环境状态、持久知识、经验与短期记忆分入带来源标注的存储,用 BM25 检索提供本地上下文。原型在配备 128 GB 内存的 Apple M4 笔记本上本地运行,于急救医疗和 Munich-Sim 应急仿真两个合成场景中展示了来源标注、缺失标记与结构化输出。作者强调这是研究性概念验证,尚未证明幻觉减少或操作安全性,且需人工审查。

  36. arXiv · cs.CL23

    基于 LLM token 概率从 L2 英语推断母语背景

    一项研究提出用 token 概率评分方法进行母语识别(NLI):将文本样本作为指定候选母语的前缀的续写打分,选取得分最高的候选者。实验使用 Llama 3.1 8B 和 70B,在 TOEFL9、Write and Improve 2024 和 BULATS-L1 三个数据集上评估,结果显示该方法显著优于直接分类提示,70B 模型在所有数据集上达到 SOTA。

  37. arXiv · cs.CL33

    SimOPD:面向在线策略蒸馏的关系型知识迁移方法

    arXiv 论文提出 SimOPD,通过响应相似度分布将教师模型内部知识迁移给学生,避免直接隐状态匹配带来的特征空间绑定。学生在自身表示空间内匹配相似度分布,无需跨模型投影。实验显示,SimOPD 在同架构和跨架构设置下较最强基线分别提升最多 2.6 和 3.1 个百分点。

  38. arXiv · cs.AI39

    面向不完美提示词的设计:基于知识图谱的 LLM 企业数据助手仿真评估

    一项设计科学研究在企业 CFO 单位数据湖的真实部署中发现,业务用户的提示词常缺少 schema 引用和结构信息。研究设计并对比了两种语义中介方案:基于语义相似度的 schema 中介,以及利用从数据湖自动构建的知识图谱的中介。仿真评估结合 LLM-as-a-Judge 与人工验证显示,知识图谱方案在 Precision、Recall、F1 和保留用户意图上均优于 schema 方案。

  39. arXiv · cs.AI42

    Optimist Deep Research:面向自主文献研究的迭代式、以状态为中心的开源智能体

    开源智能体 Optimist Deep Research 将文献研究作为对显式可变研究状态的迭代证据获取过程:研究问题被拆解为子问题树,检索覆盖 arXiv、OpenAlex、Crossref、PubMed、Semantic Scholar 和网络,经四层去重和引文滚雪球扩展至饱和。文档并行读入结构化证据库,批评者沿八个维度返回研究行动而非二元判定,最终报告逐节生成且每条引用都可溯源。案例研究约三分半钟读完 237 篇检索文档中的 28 篇。