跳到正文
10月16日周五
  1. arXiv · cs.CL49

    ZoomCap:基于证据路由的视觉缩放方法,实现可恢复的视觉信息迁移

    arXiv 论文提出 ZoomCap,将细粒度图像描述建模为可恢复的视觉信息迁移,通过草稿路由知识检索、OCR 敏感读取与自适应视觉缩放补全证据,并配套 FactCycle 逐条评分描述中原子事实的真实性与可实现性。对比 Qwen3.5-397B-A17B 生成的描述,ZoomCap 以小 10 倍以上的 teacher 取得 81.9% 的人类偏好得分,每图迁移 52.4 条事实(ScaleCap 为 31.5)。持续预训练中,ZoomCap-450K 在 11 个 benchmark 平均提升 1.31-2.38 分,ZoomCap-450K 数据集已公开。

  2. arXiv · cs.CL45

    DocPilot:面向长视觉文档理解的交互式智能体编排与训练

    DocPilot 是一个智能体文档框架,通过页面级导航与细粒度证据定位编排证据检索,并整合局部视觉检查、代码化数值推理和跨模态推理,使小语言模型也能学会复杂的文档求解。其课程式智能体训练从单一能力学习渐进到自适应编排。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上,DocPilot 搭配前沿 VLM 取得显著提升,DocPilot-4B 对比大得多的模型也具备竞争力,代码已开源。

  3. arXiv · cs.CL24

    混合生成-标注解码方法用于高效电商商品属性值抽取

    研究者提出混合生成-标注解码架构,用于电商商品属性值抽取:对高频属性用标注头直接从源文本抽取值,生成头则专注稀有属性和不可复制的隐含/归一化值。集成进 vLLM 推理后,该方法将属性覆盖率提升 10%,多抽取出 63% 的正确属性值对,精度不受影响,同时延迟降低 44%。

  4. arXiv · cs.CL35

    VoteGEO-Bench:衡量生成式引擎优化对选举信息可见性的影响

    研究者提出 VoteGEO-Bench 基准,覆盖 2024 年美国总统大选和 2026 年日本众议院选举,评估 GEO 重写网页内容对生成式引擎回答的影响。基准测试了 4 类共 11 种改写策略,发现指定目标的改写更常提升目标曝光度,改进页面组织或通过论证强化立场的策略收益更大。收益在美国 voter personas 上总体为正,但 persona 条件化无一致效果,而显式党派身份造成的基线曝光差距可能超过改写单个网页的收益。

  5. arXiv · cs.CL32

    QuasiLeak-Bench:评估基于 LLM 的隐私检测器在策略约束下的准证据组恢复能力

    arXiv 论文提出 QuasiLeak-Bench,一个评估 LLM 隐私检测器在策略约束下恢复准证据组(quasi-evidence group)的基准,检测器需找回完整的准证据组并标记披露政策禁止的内容。实验显示现有隐私检测器迁移表现差,可本地部署的 LLM 检测器远落后于闭源专有模型,主要因漏掉大多数准证据组;而在其训练集上微调的 4B 模型在保留文档上超过最强的提示模型,表明该任务可学习。

  6. arXiv · cs.CL38

    注意力头排序与划分用于语言模型的稀疏与持续强化学习微调

    一项 arXiv 研究提出通过对注意力头按梯度范数排序和划分,实现语言模型的稀疏与持续强化学习微调。实验覆盖数学、指令遵循和编码任务,微调高排名注意力头的效果稳定优于低排名者,且常能匹敌更稠密的微调基线;按任务划分注意力头可减少跨任务干扰、提升旧能力保留,同时保持对新任务的适配。

  7. arXiv · cs.CL32

    OpCredit:面向智能体知识图谱问答的操作感知策略学习

    论文提出 OpCredit,一个面向智能体知识图谱问答(KGQA)的操作感知策略学习框架,解决轨迹级奖励无法区分单个操作贡献的问题。框架结合两种信用信号:Branch Outcome Credit(BOC)在匹配导航上下文下比较不同操作后的最终任务奖励,Frontier Transition Credit(FTC)衡量操作引起的答案条件前沿势变化。在 ComplexWebQuestions、WebQSP 和 GrailQA 三个数据集、三种骨干模型上均取得一致性能提升,推理阶段仅使用学习到的策略和标准 KG 接口。

  8. arXiv · cs.CL42

    情绪并非外部知识:SIAB 利用 LLM 内部注意力信号进行情感状态推理

    论文提出 SIAB(Self-targeted Internal Attention Boosting),通过因果定位找到稀疏情感注意力头并增强其已关注的内容 token,让模型无需外部标注即可进行情感状态推理。在 ECC 和 GoEmotions 评测中,SIAB 在三个 LLM 上较 prompt 基线最高提升 +10.3 macro-F1 和 +5.5;结合 PASTA 式外部监督最高提升 +13.84 准确率和 +12.51 macro-F1。该工作被 AACL 2026 主会接收。

  9. arXiv · cs.CL26

    RenoLayout:面向约束感知住宅设计的统一户型改造与家具布局框架

    研究者提出 RenoLayout,将住宅设计建模为设计点引导的条件生成任务,把待改造户型和设计点集合翻译为可执行的 Geometry-as-Code 程序。框架构建了含 123 个细粒度设计点的 Design Map,采用 CPT-SFT-RL 三阶段训练,并发布包含 200 个真实改造前后案例的 RenoLayout Benchmark,作者称其为首个统一住宅设计基准。

  10. arXiv · cs.CL10

    ESG-Kor:一个用于 ESG 信息抽取的韩文数据集及实际应用案例

    研究者构建了韩文数据集 ESG-Kor,从韩国企业的可持续发展报告中抽取环境、社会、治理(ESG)信息,共包含 118,946 个句子,并依据 ESG 评估机构的客观规则进行人工标注。用多个韩文预训练语言模型验证分类性能,取得了显著效果。团队还将 ESG 分类模型扩展到中小企业文档,展示了基于 ESG 关键议题的深度分析与实际应用潜力。

  11. arXiv · cs.CL45

    DPA-MoE:面向 MoE 推理的运行时精度控制框架

    研究者提出 DPA-MoE,一个运行时精度控制框架,让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块,并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示,相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率,原型系统稳态吞吐开销适中。

  12. arXiv · cs.CL32

    校准语言如何影响多语言模型中的 Block Influence 剪枝

    一项 arXiv 研究发现,Block Influence(BI)深度剪枝的排序依赖校准分布:在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上,印地语、马拉地语和泰米尔语的后期 block BI 比英语高 20.7-55.5%,仅用英语校准会系统性漏选这些层。用等量的英语、印地语和马拉地语数据平均校准可缓解困惑度损害,但效果并非在所有架构和剪枝预算下通用,需逐一验证。

  13. arXiv · cs.CL27

    FaShift:面向多模态学习的因子级选择性分布偏移处理框架

    论文提出 FaShift,一种因子级分布偏移处理框架,通过诊断潜在表征因子的分布变化、干预效应和跨环境稳定性,选择性抑制、保留或衰减各因子的贡献,而非强制统一不变性。在 MOSI、MOSEI 和 CH-SIMS 三个数据集上,FaShift 取得最优 ID 准确率与 F1,OOD 上在 MOSI 提升 1.5/3.6 点、在 MOSEI 提升 1.7/2.7 点,并在 CH-SIMS 上取得最优 OOD 成绩。

  14. arXiv · cs.CL26

    识别提示词进化中用于压力与情绪预测的有效策略

    一项 arXiv 研究比较了六种提示词进化方法在社交媒体压力与情绪预测任务上、两种模型规模下的表现,发现 GEPA 及其结合两份提示词指令的扩展 GEPA+merge 在多种设置下优于初始提示词。研究还归纳出五类有效提示词策略,包括引导关注情绪证据、区分当前与过去困扰、举例说明间接线索、要求情绪背景以及引导标签选择,并记录了二分类压力预测早期提升而多标签情绪预测先降后部分恢复等四项跨任务观察。

  15. arXiv · cs.CL46

    HyCo:面向端云混合推测解码的高效草稿生成方法

    HyCo 将服务器模型的 MTP 头部署到设备端执行,结合一次 SLM 前向作为备选分支,通过量化、受限词表和 1K-token 窗口适配移动 NPU。在 Galaxy S26 Ultra 上经 LTE/5G 测试,HyCo 在 Spec-Bench 上较服务端 MTP 自推测减少 38.6% 的服务器 GPU 时间,在 32K-token 摘要任务上减少 29.2%;相比仅用 SLM 草稿多节省 9.0 个百分点、提速 1.9x,且输出质量与 Cloud+MTP 基本持平。

  16. arXiv · cs.CL18

    SITAR:用于自动语音识别评测的情境失真度量

    研究者提出 SITAR,一种自动语音识别(ASR)的情境失真度量,通过有界递归公式将情境严重度与累积程度聚合为统一分数。SITAR 以 BERT 家族的轻量回归器实现,单次前向传播即可对参考-假设对打分,无需依赖 LLM 评测带来的高额计算成本。验证协议涵盖宏观与微观层面的外在效度和评分器内在可靠性,完整代码、模型权重与数据集将在内部审查后发布。

  17. arXiv · cs.CL33

    TITAN:面向低资源多语言翻译的翻译回路发现与定向优化框架

    研究者提出 TITAN 框架,通过因果干预、稀疏特征分解与定向偏好优化,定位并优化 decoder-only 多语言 LLM 中的翻译回路,仅更新不到 5% 的模型参数。该方法在印地语到乌尔都语和信德语(天城文)翻译上分别取得 33.75% 和 45.86% 的 BLEU 提升,人工评估也确认了充分性与流畅度的显著改善。分析显示多语言翻译通过共享语义子空间上的稀疏结构化回路实现,而非以英语为中心的枢轴表示。

  18. arXiv · cs.CL43

    OPRD:面向长程编码智能体的在线策略提醒蒸馏方法

    研究者提出 On-Policy Reminder Distillation(OPRD),通过 Multi-Scope Reminder 监督结合基于结果的路由,改进仓库级长程编码智能体。在 SWE-bench Verified、SWE-bench Pro 和 SWE-bench Multilingual 上,OPRD 较开源 Qwen3.5-4B 基线平均任务解决率提升 11.3 个百分点,聚合错误事件数从 446 降至 222,减少 50.2%。推理阶段学生模型无需 Reminders 即可运行。

  19. arXiv · cs.CL40

    可写性与通路:面向寻址记忆的知识注入受控研究

    一项受控研究考察向寻址条件记忆事后注入知识的可行性,结合 GPT-2 对照实验与 Qwen3.8-Flash-Next-FP8、DeepSeek-V4.1-Flash 的生产记忆实验。GPT-2 各实验组均能复现 50 条训练补全,但自然问题目标串命中平均仅 5.3%(row-only)、28.7%(无锚定投影更新)、22.0%(有锚定),严格答案得分均为零。结果显示写入可行但有边界,首 token 排名提升不代表完整答案成功。

  20. arXiv · cs.CL41

    Waypoint-OPD:通过门控在线策略蒸馏迁移 RL 引起的策略偏移

    Waypoint-OPD 是一种门控在线策略蒸馏方法,利用同一 RL 训练中的中间 teacher checkpoint,比较早期与后期策略偏移的方向一致性,并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分,以 RL 训练的 Qwen3-4B 为 teacher,在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上,全部六个领域-学生设置中取得最高领域平均分;消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。

  21. Hugging Face Blog53

    NVIDIA 与 AI4Bharat 发布 2.8 万亿 token 印度语言预训练语料 Nemotron-pretraining-Indic-v1 及开源生成流水线

    NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token 覆盖 22 种印度宪法语言,含 22 种语言本族文字数据和 12 种语言的罗马化数据,共 34 种语言-文字配置。流水线用 NeMo Data Designer 和 Gemma-4-31B-it 做文档级翻译、MQM 风格质量评估(保留 75/100 以上)与定向修复,每条记录可溯源,生成配方开源可复用;另十种语言采用 Bodhan AI 的 Indic Translate。Nemotron 3.5 Super VL 用其中 12 语言子集加 100 亿 token 做 CPT 后,五个 Indic 基准提升 4.98 至 9.82 个百分点。

    推荐理由:完整公开了 2.8 万亿 token Indic 语料的生成配方和质量门槛,团队可复用其翻译与修复流水线迁移到自己的语种。

  22. arXiv · cs.AI46

    智能体需要新型论文吗?SPRA:面向智能体的结构化论文表示

    arXiv 论文提出 SPRA(Structured Paper Representation for Agents),一种以研究对象和类型化关系组织的论文级结构表示,并在超 100 万篇 AI 论文上实例化,含 19.95M 研究单元和 24.07M 内部关系。通过 Schema-RAG 访问时,SPRA 在七个子领域上使源条件科学问答较段落检索提升 0.381/5,配对任务的 input+output tokens 较段落检索减少 28.5%。该资源可通过 SciVerse 平台获取。

  23. arXiv · cs.AI50

    LoCD:通过局部上下文蒸馏让 LLM 从交互经验中学习

    研究者提出局部上下文蒸馏方法 LoCD,让大语言模型从交互经验中持续学习。LoCD 先定位学生模型轨迹中需修正的关键片段,由教师模型基于学生自身前缀重新生成这些片段并用于训练,兼顾信息量与低曝光偏差。在数学推理、代码生成和智能体任务上,LoCD 持续超越强基线,训练更稳定且参数更新更小更稀疏。

  24. arXiv · cs.AI22

    V-SHARE:基于优势函数算法的可证明收敛保证

    论文提出 V-SHARE,一种结合跨动作价值共享与重要性加权 Bellman 残差校正的优势型价值学习算法,并给出首个对优势型算法的完整理论刻画,包括渐近收敛与非渐近有限样本保证。研究揭示了收缩—方差权衡,并提出递减残差预条件调度与双时间尺度分析,在离散 MDP 和深度强化学习 benchmark 上验证了结果。

  25. arXiv · cs.AI32

    TIR-EC:用工具集成强化学习激励 LLM 进行急诊入院后护理预测

    研究者提出 TIR-EC,一个工具集成强化学习框架,让 LLM 将 EHR 特征组作为工具调用,并以梯度提升树教师提供参考工具集和分级风险目标进行奖励,通过反向课程把临床技能蒸馏进模型权重。在三项临床预测任务上,其 4B 智能体取得所有对比模型中最高的 macro F1,超过传统 ML 基线,可与更大的前沿 LLM 竞争,且用更少的工具调用选出更有用的证据。

  26. arXiv · cs.AI43

    X-Fly:面向全块化无人机视觉语言导航的到达与停止学习框架

    X-Fly 是一个面向全块化无人机视觉语言导航(VLN)的分阶段训练框架,解决大视觉语言模型推理贵及块执行中无法停止的问题:模型推理从每 waypoint 195 ms 降至 42 ms。Recovery DAgger 为学习者访问状态标注恢复 chunk 与 STOP,Flow-GRPO 联合优化分块流控制器和 Bernoulli STOP 策略。X-Fly 在 OpenFly test-seen 达 74.18% SR、test-unseen 达 51.73%,远超全块 BC 的 16.45% 和 18.43% 及 DreamFly 的 32.04% 和 29.46%。

  27. arXiv · cs.AI43

    ELLSA 2:支持语音、表情与手势的全双工端到端对话模型

    研究者提出 ELLSA 2,一个端到端全双工对话模型,联合优化语音交互与流式手势表情生成,在语言沉默时仍可持续生成非语言行为。模型通过上下文语义调用与模板引导实现语义手势生成,并建立对话感知的共语手势数据与评测管线。实验显示其与开源全双工语音交互模型相当,在手势与表情指标上超越级联基线,语义模板引导显著提升语义手势质量。

  28. arXiv · cs.AI37

    视觉生成能否扩展统一多模态模型的知识?arXiv 提出 KTP 探测协议

    arXiv 论文提出 Knowledge Transfer Probing(KTP)协议,检验图像生成训练能否为预训练模型带来新知识。在 7 个知识类别和 3 个统一多模态模型上,视觉监督可向语言迁移知识,但迁移不均衡;作者进一步提出 Textual Alignment 与 Interleaved Image–Text Alignment,无需 QA 监督即可提升知识访问能力,且图像中正确再现的知识往往更易通过文本访问。

  29. arXiv · cs.AI45

    SpecAgent:用语义验证实现工具调用智能体的轨迹级投机

    SpecAgent 是一种智能体协作协议,将强模型从逐步生成者变为弱模型草稿的审查者:弱模型执行只读工具调用起草步骤,强模型通过单次 prefill 语义验证并提交最长有效前缀。在 τ²-Bench 上其成功率与强模型相差不到 1 个点,同时将内存流量和墙钟时间约减半;在 AutomationBench、VitaBench 上可挽回 44-75% 的质量差距,在 MCP-Atlas 端云部署中缩小 53-75% 差距且强模型 token 生成量最多减半。

  30. arXiv · cs.AI20

    用嵌入模型与 LLM 精炼本体:CASTON 铸造领域案例研究

    研究者提出一种结合微调本体嵌入模型与 LLM 的轻量级本体精炼流程,用于修复 CASTON 铸造领域本体中的类层级 subsumption 错误。嵌入模型提取待修正候选公理及替换候选,再由 LLM 给出修复建议。在专家评估中,使用 CASTON 微调的 OnT 嵌入模型与 Qwen3-8B 的默认配置产生的六个高置信度替换全部被两位领域专家接受,实现代码已开源。

  31. arXiv · cs.AI58

    arXiv 论文提出非线性叙事生成基准:19个模型平均更偏线性讲述

    一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准,每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性,被要求特定结构时约一半情况落在人类范围内;自动化裁判与71位人类读者都更偏好模型默认的线性故事,非线性版本在81%的关键判断中被认为更难跟上,读者还更偏好基于故事图生成的故事而非照搬出版顺序。

    推荐理由:论文用83部作品语料和71位人类读者对比模型非线性叙事能力,给出了具体差距数据而非泛泛结论。

  32. arXiv · cs.AI31

    工具增强大语言模型实现患者病历的可靠医学计算

    研究者提出一种工具增强 LLM 框架,将计算器规则与算术执行分离为确定性工具,并用受限提取器把病历映射为可计算输入。在 MedCalc-Bench 上达到 86.73% 最终答案准确率,分别比 one-shot 提示和监督微调基线高 24.0 和 17.27 个百分点。消融显示增益主要来自基于规则的工具合成与 schema 约束提取,该方法可缓解算术幻觉。

  33. arXiv · cs.AI16

    AI 驱动的灾害响应与流离失所监测

    arXiv 论文探讨 AI 在人道主义任务中的应用,重点涵盖灾害响应与流离失所监测。文中列举 AI 用于全球天气预报、可再生能源控制与设计、森林砍伐监测,以及结合卫星影像与社会经济数据预测贫困。AI 还被用于评估灾害损失、紧急需求和追踪流离失所。

  34. arXiv · cs.AI42

    FlashAttention with Statistics:面向紧凑幻觉检测器的低开销注意力特征

    研究者提出在 FlashAttention 前向传播中直接累积注意力统计量,无需显式构建注意力矩阵,用于训练紧凑幻觉检测器。在 H100 上,五个已发表检测器所需统计量对 Qwen3-8B 前向(2K token)仅增加 16% 延迟,35K 时降至 1.4%,每 response token 存储 22.5 KiB。基于 0.6B–8B 冻结 Qwen3 代理模型训练的探针表现强劲:4B 代理在三个 benchmark 中的两个上 F1 超过九个最强零样本 4-9B LLM 评判,注意力特征在 12 组 benchmark-代理配对的一半中显著提升 F1。

  35. arXiv · cs.AI52

    MetaExp 论文提出通过可验证跨任务环境扩展训练智能体自我改进能力

    论文提出 MetaExp 框架,通过带跨任务结构的可验证任务族训练语言模型智能体把交互反馈变成可迁移的经验学习能力,设计了 Shared-Tool 和 Shared-Workflow 两种任务族。团队在 1,000 个任务族上收集并过滤得到 4,956 条轨迹,微调 Qwen3.5-122B-A10B,参数冻结后在 SpreadsheetBench 提升 +8.5、APEX-Agents 峰值 +2.3、AutomationBench 提升 +14.8,领域排除训练下增益仍保持。论文地址 https://arxiv.org/abs/2610.21492v1

    推荐理由:论文用可验证跨任务环境训练经验学习能力,并在三个基准上给出领域排除训练下的迁移增益数据,可参考其环境构造思路。

  36. arXiv · cs.AI35

    ISW-Agent:结合 LLM 对话与 n8n 工作流的内孤立波遥感图像处理系统

    研究者提出 ISW-Agent,将 LLM 解释与 n8n 工作流及独立科学模型结合,用于内孤立波(ISW)遥感图像处理。在每种后端各 120 条中文指令测试中,GPT-5.6 Sol 和 DeepSeek 均达到 94.2% 的严格任务匹配率;50 个定时场景中 39 个完成检测、条带提取与传播预测,中位耗时 48.04 s。3,408 次故障注入测试中,重试恢复 234 次瞬态故障,输出验证拦截 234 个结构缺陷。

  37. arXiv · cs.AI24

    用可解释语义表征分解 LLaMA2-7B 与大脑对齐

    研究用 SCRIBE——一个覆盖 65 个神经认知语义属性的可解释语义表征——分解 LLaMA2-7B 与大脑对齐的构成。对 7 名受试者听叙事故事的自然主义 fMRI 数据做方差分解发现,共享方差在全脑及语言相关脑区占主导,具体语义属性比抽象属性的共享方差更大。结果表明相当一部分脑-LLM 对齐与可解释语义信息相关,同时存在超出 LLaMA2-7B 表征的互补语义信息。

  38. arXiv · cs.AI52

    QREF:通过查询改写与证据过滤提升 DeepSearch 智能体

    研究者提出 QREF,一个即插即用的查询改写器与证据过滤器,通过 SFT 初始化并用强化学习在真实网络搜索环境中优化,缓解 DeepSearch 智能体检索意图错位与噪声累积问题。方法在四个基准上平均将 WebSailor 的 Pass@1 相对提升 33.55%、TongyiDeepResearch 提升 11.04%,无需修改架构或重训推理策略;RL 训练的改写器比原始骨干减少 95% 缺乏判别性检索锚点的查询批次。论文地址 https://arxiv.org/abs/2610.21512

    推荐理由:论文给出即插即用的查询改写与证据过滤方案,不改架构即可提升 DeepSearch 智能体表现,数字与对比数据齐全。

  39. arXiv · cs.AI43

    Poison Valleys:诊断 LLM 代码修复中的路径依赖式失败

    Poison Valleys 方法在两个合成 Python 案例的 1,844 次模型请求中,追踪代码修复智能体失败时上游错误机制与失败形式的关联。研究发现,将错误机制从假设阶段移到实现计划阶段,使 PersistQueue 失败率增加 32.2%,Dijkstra 增加 28.9%。不同错误机制产生了不同的、依赖模型的义务违反模式。

  40. arXiv · cs.AI22

    SCRIBE:基于开源大语言模型集成的大脑语义可解释表征框架

    研究者提出 SCRIBE 框架,利用开源大语言模型集成构建神经科学启发的语义空间,为任意文本生成可解释的词级语义表征。在 921 人参与的行为研究中,SCRIBE 能捕捉语义特征随语境的系统性变化,达到估计人类噪声上限的 75-81%。基于自然故事听力任务的脑活动数据,它显著优于非语境语义表征,并解释了句法特征之外的独特脑预测信息。