跳到正文
今天10月27日周二16 条
  1. arXiv · cs.CL25

    ImgMT:基于 Wikipedia 的图文内翻译评测数据集

    研究者推出 ImgMT,一个从 Wikimedia Commons 本地化 SVG 插图中挖掘的多语言图文内翻译数据集与基准,含 35,612 对对齐图像、1,855 个图像集,覆盖 129 种语言、20+ 文字系统和 4,886 个语言对。该数据集提出多级评测协议,同时衡量源文本区域检测、OCR 准确率和译文质量,并对多个多模态大语言模型和一个专用 TIT 系统在 English->X 与 X->English 设置下进行基准测试,发现源语言和文字系统显著影响翻译质量。

  2. arXiv · cs.CL24

    INVAR-Agri:用微调 LLM 检测农机多语言操作手册中的差异

    INVAR-Agri 概念验证比较了 EuroLLM-1.7B-Instruct 在农机操作手册差异检测上的两种训练方案:回译对比与直接对照检查。在 24 种语言、植入数字/单位/否定等错误的测试中,回译方案隐瞒了大量植入错误,而单独训练的 checker 检出大多数错误,但对单位和训练外数字变化较弱;真实芬兰语文本上误报率高,故只能辅助而非替代人工审核。

  3. arXiv · cs.CL33

    探究 Mimi 编解码器码本 CB0 的语音表征

    一项研究分析了 Mimi 神经音频编解码器第一个码本(CB0)中的语音表征。由于 Mimi 固定 80 ms 的 token 窗口常跨多个音素,ABX 式评估不适用,研究者改用强制对齐、熵分析和 Phone-Normalized Mutual Information(PNMI)。基于 TIMIT 语音(58/55 说话人,SA1/SA2)的实验显示,单个 token 与特定音素强相关(PNMI = 0.84,高于随机水平),但音素由多个竞争 token 实现,并非一一对应。

  4. arXiv · cs.AI15

    SAP-ViT:面向医学图像分类的自归因 Patch Vision Transformer

    研究者提出 SAP-ViT,一种自归因 Patch Vision Transformer,用最后一层 patch 嵌入直接聚合分类,取代依赖全局 CLS token 的方式,使预测可分解为 patch 级贡献。该方法对 patch 权重分布施加稀疏正则化,并引入输入空间回映射机制估计输入 patch 的贡献。在多个不同影像模态的医学图像分类数据集上,SAP-ViT 保持较强分类性能,同时提供一致且可解释的 patch 级解释,消融实验验证了稀疏正则化和回映射对齐成分的贡献。

  5. arXiv · cs.CL32

    Culture-MMT 基准:面向视觉锚定的社交媒体文化翻译评估

    研究者推出 Culture-MMT,一个用于社交媒体翻译中“分布式证据语用重构”的诊断基准,包含 498 条去标识 UGC 实例、覆盖 20 个领域,按所需证据分为 Symbol、Visual 和 Hybrid 三类,并配套与人类对齐的 Judger 评测框架。在 17 个模型配置上,真实图像使 Visual 和 Hybrid 类性能分别提升 +0.280 和 +0.197,Symbol 类仅 +0.050,随机图像则无相应增益。结果表明视觉锚定与文化语用适配是模型翻译的两个独立瓶颈。

  6. arXiv · cs.CL31

    EXCISE:定位并剔除医学问答中的干扰句

    EXCISE 是一种推理时方法,通过阻断对干扰句的注意力来消除无关信息对医学问答模型的干扰,且仅在模型隐状态判定该句与病例不一致时执行。作者构建了 MedQA-TD 基准,EXCISE 在其上提升 16.7-22.8 个准确率点,代价是无干扰问题下降 1.5-2.1 个点,优于提示、重写和 steering 基线,并在 MedDistractQA、BiasMedQA 及链式推理生成上同样有效。

  7. arXiv · cs.AI32

    OmniShowcase:基于多视图图像的全向主体一致视频生成

    OmniShowcase 提出从多视图参考图像生成主体一致视频的方法,包含自动化数据合成管线与基于表面法线贴图的几何条件方法,支持完整 360 度环绕拍摄。团队构建了覆盖 12 种相机运动、88 种轨迹配置的 Showcase-4K 数据集和评测集 ShowcaseBench,实验显示主体身份与 3D 一致性达到 SOTA,同时保持有竞争力的视频质量与运动效果。

  8. arXiv · cs.AI16

    可解释多模态 AI 方法助力减少不必要的乳腺活检

    一项研究提出结合 Grad-CAM 可解释技术的多模态视觉-语言方法,预测 BI-RADS 4 和 5 患者的良性肿瘤,以减少不必要的乳腺活检。该框架用 Vision Transformer 提取影像特征、DeBERTa-V3-Large 生成文本嵌入,并经后期融合分类,在含 1,632 名患者的内部数据集上训练评估。多模态方法在测试集上取得最佳 AUC 0.72,优于仅影像(0.66)和仅文本(0.68)基线。

  9. arXiv · cs.CL19

    将 LLM-SC 框架适配于活态圣迹遗产:基于 Pashupatinath 神庙评论的领域特定抽取、语义网络与人工评估

    研究者将 LLM-SC 框架适配于尼泊尔 Pashupatinath 神庙,在 GPT-4o 抽取提示词中定义 12 类实体、4 类关系和 9 个方面-情感维度,对 2,500 条 Tripadvisor 英文评论进行抽取,共导出 11,286 条实体、6,232 条方面-情感和 5,590 条关系记录,新增的 8 类圣迹遗产实体类型占实体记录的 64.8%。对照 200 条评论的双标注参考,实体抽取 F1 为 28.4%,方面-极性端到端 F1 为 42.6%;人工裁定支持 194 个关系候选中的 153 个(78.9%)。

  10. arXiv · cs.AI29

    EEGaze:基于 EEG 显著性精修的视觉搜索多模态注意力预测

    研究者提出 EEGazeNet,首个在视觉搜索中融合 EEG 信号的人类注意力预测方法,通过 EEG 引导的精修阶段将先进显著性预测结果适配用户认知状态。同时发布 EEGaze 140 数据集,包含 36 名参与者在 140 个自然场景下同步的 EEG 与眼动追踪记录,覆盖桌面图标搜索和杂乱车间找工具两类任务。评测显示 EEGazeNet 在该数据集上持续优于所有基线与消融条件。

  11. arXiv · cs.CL26

    Preserve to Expand:面向多语言 LLM ASR 的源语言感知适配与模型合并研究

    一项 arXiv 研究探讨在 Speech LLM 的 connector-based 架构中扩展多语言 ASR 时,如何在不回放源语言训练数据的前提下保留已有语言性能。实验显示,单目标扩展中 target-only fine-tuning 和标准 TIES 合并会导致严重源语言遗忘,SSU-Wanda+TIES 取得最佳源语言保留权衡;多目标扩展中 update merging 提供稳定的源语言保留,而递归扩展虽可能提升目标适配但高度依赖顺序。

  12. arXiv · cs.CL23

    RoR 框架如何用互补专家与 LLM 裁判做交通异常推理:2026 AI City Challenge Track 3 夺冠方案

    Reason-or-Recite(RoR)框架在 2026 AI City Challenge 交通异常推理赛道获得第一名,in-domain 排行榜平均分 0.6788。该框架将官方 chain-of-thought 标注重写为结构化、时间对齐的模式并 LoRA 微调 9B 视觉语言模型,另用 4-bit 量化 27B 模型学习标注风格,再由免训练 LLM judge 为每个问题在两个候选答案中选择。

  13. arXiv · cs.CL29

    SimPOTrans:通过强化学习让离线语音翻译模型自适应同声传译

    SimPOTrans 是一个强化学习框架,通过两阶段 RL 后训练让离线语音翻译模型自适应对话式同声传译(SimulST),无需合成 read/write 轨迹或显式延迟优化。推理时无需外部决策策略,仅调整语音输入的 chunk size 即可灵活控制质量-延迟权衡。在 ACL 60/60 和 MCIF 基准的 En→De、En→Zh、En→Ja 三个语言方向上超越多个强基线。

  14. arXiv · cs.CL54

    arXiv 论文:用自主进化优化推理程序提升 VLM 科学图表分析准确率

    论文提出在冻结的 VLM 外部搜索推理程序,借鉴 AlphaEvolve 的自主进化思路,由 LLM judge 依据训练题失败案例迭代改进代码。在 3 个 VLM 和 4 个科学图表基准上,描述性问题的精确匹配准确率平均从 16.6% 提升到 41.3%,单次最大提升 55.2 个百分点,进化后的程序还比基线快 3.8 倍。

    推荐理由:论文说明相当一部分 VLM 图表问答错误来自推理管线而非模型本身,不改权重、只进化推理程序即可大幅提分。

  15. arXiv · cs.AI20

    LE-GDA:免训练少样本 CLIP 适配的层集成高斯判别分析

    研究者提出 LE-GDA,一种免训练的少样本 CLIP 适配方法,对单次冻结编码器提取的中间与最终表征分别拟合正则化共享协方差判别式,按查询标准化类别分数后与零样本分类器组合,无需梯度优化。在 11 个数据集、四种 CLIP backbone、五种 shot 数设置下,该方法在所有 backbone 上均取得最高平均准确率,将 16-shot 平均准确率从 78.01% 提升至 79.54%;单样本场景下仍比基线平均高 1.20 个百分点。代码与评测资源已公开。

  16. arXiv · cs.AI13

    基于规则排序提示词的晶圆图零样本多类别分类:免训练框架借助大型多模态模型实现

    研究者提出一种免训练的六类晶圆图缺陷分类框架,将连通域高亮与融合形态、位置和排除规则的提示词结合,用于冻结的大型多模态模型,无需标注数据和再训练。在 Mixed-WM38 数据集(6,866 张图)上达到 92.9% macro 和 93.8% 总体准确率;在 WM811K(9,000 张图)上分别为 79.1% 和 81.3%。消融实验显示八种替代规则顺序总体准确率为 90.1-91.9%,低于所选顺序的 93.8%。

10月25日周日
  1. arXiv · cs.CL23

    HerHealthGPT:面向女性生殖健康的循证对话式 AI 系统

    研究者推出 HerHealthGPT,一个面向女性生殖健康、结合 RAG、上下文感知澄清与来源验证的对话式 AI 系统。在 540 条英文消息和 30 名成人的测试中,证据检索将关注类别准确率从 54.1% 提升至 59.3%,澄清路由器达到 85.6% 召回率与 86.2% 特异度,83.3% 的参与者偏好启用检索的配置。系统仍需进一步临床验证。

  2. arXiv · cs.CL43

    视觉语言模型如何按需控制模态指向:反事实干预评估方法

    一项 arXiv 预印本研究提出通过保留冲突的反事实干预来评估视觉语言模型(VLM)的模态指向控制,用 Flip 和 Stay 两个指标衡量答案是否跟随对指定模态的编辑。方法上构建新词学习,仅训练新增的视觉与文本指向词嵌入并冻结预训练模型,并引入 Counterfactual Twin-Margin(CTM)反事实监督。在三个 VLM、三个现有基准及自建 Ground-CF 基准上,学习到的模态词优于自然语言指令,LoRA 整体最强,反事实监督在多个设置中提升控制效果。

  3. arXiv · cs.CL46

    MTA-Zero:通过在线 QA-Solver 共训练实现自改进多模态深度搜索

    研究者提出 MTA-Zero,一个无需预计算多跳语料的在线多模态 QA-Solver 共训练框架,用 GRPO 独立优化 QA Generator 与深度搜索 Solver。在六个多模态深度搜索 benchmark 上,该框架将 Qwen3-VL-8B Solver 的平均准确率从 36.91% 提升至 51.58%,与相同 agent 工作流下的 GPT-5 表现相当,并使 Qwen3.6-27B Solver 提升 10.82 分。

  4. arXiv · cs.CL34

    邻居的低语:将描述共识重思为视觉-语言检索的推理时证据

    该 arXiv 论文提出在推理时让冻结双编码器利用同一图像的多条描述提升文本到图像检索:当描述与查询来自相同标注者时,九个冻结编码器的 R@1 提升 3.4 至 16.8 点;改用现成 captioner 生成时降至 1.9 至 7.2 点,跨标注源时最多约 1 点。分析表明正确候选的支持方式与负例不同,且该增益源于匹配人类描述,并未改善图像-文本 grounding。

  5. arXiv · cs.AI35

    视觉语言模型的多证据整合缺口:事实都对,答案仍错

    arXiv 论文 arXiv:2610.33764 研究视觉语言模型的多证据整合缺口:模型能准确读取局部事实,却无法将其组合成满足全部约束的全局决策。例如 Gemma-3-27B 能正确恢复全部孤立事实,但在八项视觉实例上全局有效率仅 19.75%。通过 hidden-state 探针与激活替换实验,作者表明恢复事实并不足以支持可靠的联合决策。

10月24日周六
  1. arXiv · cs.CL12

    PathKGen:病理学知识辅助的多模态大语言模型,用于可解释的组织病理学报告生成

    PathKGen 是一种知识图谱辅助的多模态大语言模型(MLLM),用于数字病理学的全切片图像(WSI)报告生成。它包含视觉路径和知识路径两个分支,后者通过查询病理学专用知识图谱提取 WSI 关键形态学特征生成知识 token。在 WSI-Bench 数据集上超越此前 SOTA 方法,并将诊断推理以可视化图形式呈现,代码已开源。

  2. arXiv · cs.AI29

    HAD-VLM:在医学视觉语言模型中保留数值连续性,超越离散 token

    研究者提出 HAD-VLM,一个混合自回归-扩散框架的医学视觉语言模型,将自回归文本生成与超声测量的连续数值预测结合在共享骨干中。在 EchoNet-LVH 四项超声心动图测量任务上,其平均绝对误差为 1.36、2.77、3.05 和 1.16 mm,较基于 Vicuna 的自回归基线降低 21.4-37.6%,并优于微调后的 Qwen3-VL。X 射线椎体测量的平均绝对误差从 11.4 像素降至 6.7 像素,医学问答性能保持不变。

  3. arXiv · cs.CL30

    SPOOK:针对视觉编码器流形外知识的稀疏像素优化方法

    一项名为 SPOOK 的黑盒研究用简单像素级爬山算法对空白画布施加稀疏像素编辑,测试多模态对比编码器与自监督视觉编码器在自然图像流形之外的表征行为。在 ImageNet 和 Flickr30k 上,面向类别提示词优化的输入在 OpenCLIP 上取得较强的 top-1 和 top-5 定向检索表现;面向类别原型优化的输入在 DINOv3 上达到高目标对齐度。结果表明现代视觉编码器存在共同的流形外失效模式。

10月23日周五
  1. arXiv · cs.AI40

    InferSlice:面向电信广域网 SLO 驱动 LLM 推理的参考架构

    BT 联合布里斯托大学与 NVIDIA 提出 InferSlice,一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构,集成网络切片、GPU 分区、弹性服务与可观测性,并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间,权重流式传输可缩短扩容时间;流水线并行可容忍近中距离跨站点跳数,而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。

  2. arXiv · cs.AI15

    基于声学与演唱技巧特征的可解释歌唱情感识别

    研究者提出一个可解释的歌唱情感识别框架,使用一套紧凑的歌唱专属特征,涵盖韵律、频谱、语音学和演唱技巧。该方法结合 SHAP 和 GRAD-CAM 解码模型决策,特征可降低跨歌手差异;在 VocalSet 的跨域评测中发现颤音和咽部技巧是情感表达的关键线索,SHAP 显示颤音受咬字速率影响。

  3. arXiv · cs.CL18

    旁遮普歌曲毒性数据集 PGT-FG 发布:细粒度多模态毒性标注

    研究者发布旁遮普歌曲毒性数据集 PGT-FG,基于 YouTube 公开歌曲构建,最终含 392 首歌曲的 2,396 个片段,其中 705 段(29.42%)标注为有毒。四名母语标注者产出 2,870 条标注,涵盖二元毒性、八类细粒度类别、严重程度等字段,整体毒性标签 Fleiss' kappa 达 0.6521,暴力类最常见(539 段,76.45%)。数据集已在 Zenodo 公开,不含受版权保护的音频或歌词。

  4. arXiv · cs.AI40

    SAAF 框架实现高效零样本视频异常检测

    SAAF(Signal-Aware Adaptive Fusion)是一个基于视觉-语言模型的零样本视频异常检测框架,通过双信号自适应采样、阈值门控级联架构和信号感知加权融合三项创新降低计算成本。在四个 benchmark 上,SAAF 在 XD-Violence(92.07%)、MSAD(86.70%)和 ShanghaiTech(80.54%)AUC-ROC 创无训练零样本方法新 SOTA,其中 XD-Violence 和 MSAD 超越有监督基线。其吞吐在三个数据集上较此前最佳零样本方法提升 2.43×、2.63× 和 2.22×,代码已开源,论文被 WACV 2027 接收。

  5. arXiv · cs.AI51

    CASE 提出面向冻结多模态情绪模型的技能进化框架,Qwen3-VL-8B 在 CA-MER 上准确率从 46.80% 提升至 59.13%

    论文提出 Confusion-Aware Skill Evolution(CASE),首个面向多模态情绪识别的 agent-skill 框架,用稀疏自进化的 EmotionSkill 库处理语义相邻情绪间的系统性混淆,推理时动态检索技能并保持 MLLM 主干冻结。在 CA-MER、DFEW 和 EMER 上的实验显示,CASE 将 Qwen3-VL-8B 在 CA-MER 上的平均准确率从 46.80% 提升到 59.13%,且学到的技能可在不同冻结的 MLLM 主干间迁移。

  6. arXiv · cs.CL32

    PILOT:面向多模态嵌入的特权推理探索框架,超越事后奖励

    研究者提出 PILOT 框架,将推理建模为潜变量,用先验-后验协同演进方式引导多模态嵌入模型的推理探索。在 78 项任务的 MMEB-V2 基准上,PILOT 在 2B 和 7B 参数下均超越主要基线,整体得分分别提升 3.2 和 3.3 分,其中视觉文档检索提升最大(+6.1 和 +6.4 分)。结果表明关系监督更适合作为塑造训练中推理探索的信号,而非事后奖励。

  7. arXiv · cs.CL26

    深入 Transformer 各层:视觉编码器中的跨模态对齐与表征层级分析

    一项被 AACL 2026 Findings 接收的研究系统分析了 Transformer 视觉编码器如何处理文本及其语义。逐层探测显示,强跨模态映射仅在最深几层出现,且发生在单模态物体与文字识别形成之后,表征从表层向语义层面递进。该层级在对比训练模型中最强;更大的自监督模型和富含文本的训练数据可在无语言监督时部分支持类似行为。

  8. arXiv · cs.CL26

    Cycle-of-Thought:面向文档图像表格 VQA 的自我评估迭代推理方法

    研究者提出 Self-RefineVQA,一个免训练的推理时自我纠错框架,让单个 VLM 迭代扮演生成者、批评者和精炼者,改进表格视觉问答。该框架无需额外标注数据或模型更新,在单语与跨语言表格 VQA 基准上均带来一致的准确率提升,尤其显著提升小模型表现,使 2B-7B 参数的轻量模型可媲美大得多的模型。推理成本呈线性增长,但省去了 SFT 所需的专家标注瓶颈,累计成本更低。

  9. arXiv · cs.CL45

    多模态大语言模型检索头的更全面研究

    一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现:以视听输入为对象,发现检索头在新模态中保持稀疏并跨模态大量共享,在 18 个语言、视觉语言与全模态模型中,全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%,但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力,Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分,并在三个模型族上改善文档检索。

  10. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  11. arXiv · cs.AI33

    OVC:从视觉亲和到学习信用,改进多模态强化学习中的 token 级信用分配

    研究者提出 Outcome-Conditioned Visual Credit(OVC),一个即插即用框架,将视觉关联度量与 token 级信用分配分离,解决 RLVR 中统一响应级优势分配忽视视觉观察作用的问题。OVC 复用现有 rollouts,无需辅助奖励模型、过程标注或推理时模块。基于 GSPO-token 实例化后,OVC 在三个模型上使六项基准平均准确率较 GSPO 提升 1.86-2.39 个百分点。

  12. arXiv · cs.CL29

    “否定”并未在翻译中丢失:多语言 LLM 否定表示的因果分析

    一项 arXiv 研究对六个开源 LLM 在英语、法语、越南语和中文中的否定表示进行因果干预分析,发现否定表示可被因果控制且在各语言间高度共享。从一种语言提取的对比激活方向可在其他语言中诱导或移除否定,且每个模型仅需一个 SAE 稀疏特征即可跨语言控制极性。干预还能泛化到另外四种语言及基于 FLORES-200 的句子,数据和代码已开源。

  13. arXiv · cs.CL32

    SyncPro:面向主动式流视频理解的推理与响应同步框架

    研究者提出 SyncPro,一个同步双流框架,用 Inner 与 Response 两条分支分别负责证据跟踪和面向用户的响应,两条分支共享因果历史且可独立激活,使响应能与进行中的推理并行。该框架通过 189K 双流样本进行监督微调和轨迹级强化学习训练,在三个主动式 benchmark 上提升了响应时机和回答准确率。