新闻、仓库与研究，按时间排列。
研究者推出 ImgMT，一个从 Wikimedia Commons 本地化 SVG 插图中挖掘的多语言图文内翻译数据集与基准，含 35,612 对对齐图像、1,855 个图像集，覆盖 129 种语言、20+ 文字系统和 4,886 个语言对。该数据集提出多级评测协议，同时衡量源文本区域检测、OCR 准确率和译文质量，并对多个多模态大语言模型和一个专用 TIT 系统在 English->X 与 X->English 设置下进行基准测试，发现源语言和文字系统显著影响翻译质量。
INVAR-Agri 概念验证比较了 EuroLLM-1.7B-Instruct 在农机操作手册差异检测上的两种训练方案：回译对比与直接对照检查。在 24 种语言、植入数字/单位/否定等错误的测试中，回译方案隐瞒了大量植入错误，而单独训练的 checker 检出大多数错误，但对单位和训练外数字变化较弱；真实芬兰语文本上误报率高，故只能辅助而非替代人工审核。
一项研究分析了 Mimi 神经音频编解码器第一个码本（CB0）中的语音表征。由于 Mimi 固定 80 ms 的 token 窗口常跨多个音素，ABX 式评估不适用，研究者改用强制对齐、熵分析和 Phone-Normalized Mutual Information（PNMI）。基于 TIMIT 语音（58/55 说话人，SA1/SA2）的实验显示，单个 token 与特定音素强相关（PNMI = 0.84，高于随机水平），但音素由多个竞争 token 实现，并非一一对应。
研究者提出 SAP-ViT，一种自归因 Patch Vision Transformer，用最后一层 patch 嵌入直接聚合分类，取代依赖全局 CLS token 的方式，使预测可分解为 patch 级贡献。该方法对 patch 权重分布施加稀疏正则化，并引入输入空间回映射机制估计输入 patch 的贡献。在多个不同影像模态的医学图像分类数据集上，SAP-ViT 保持较强分类性能，同时提供一致且可解释的 patch 级解释，消融实验验证了稀疏正则化和回映射对齐成分的贡献。
研究者推出 Culture-MMT，一个用于社交媒体翻译中“分布式证据语用重构”的诊断基准，包含 498 条去标识 UGC 实例、覆盖 20 个领域，按所需证据分为 Symbol、Visual 和 Hybrid 三类，并配套与人类对齐的 Judger 评测框架。在 17 个模型配置上，真实图像使 Visual 和 Hybrid 类性能分别提升 +0.280 和 +0.197，Symbol 类仅 +0.050，随机图像则无相应增益。结果表明视觉锚定与文化语用适配是模型翻译的两个独立瓶颈。
EXCISE 是一种推理时方法，通过阻断对干扰句的注意力来消除无关信息对医学问答模型的干扰，且仅在模型隐状态判定该句与病例不一致时执行。作者构建了 MedQA-TD 基准，EXCISE 在其上提升 16.7-22.8 个准确率点，代价是无干扰问题下降 1.5-2.1 个点，优于提示、重写和 steering 基线，并在 MedDistractQA、BiasMedQA 及链式推理生成上同样有效。
OmniShowcase 提出从多视图参考图像生成主体一致视频的方法，包含自动化数据合成管线与基于表面法线贴图的几何条件方法，支持完整 360 度环绕拍摄。团队构建了覆盖 12 种相机运动、88 种轨迹配置的 Showcase-4K 数据集和评测集 ShowcaseBench，实验显示主体身份与 3D 一致性达到 SOTA，同时保持有竞争力的视频质量与运动效果。
一项研究提出结合 Grad-CAM 可解释技术的多模态视觉-语言方法，预测 BI-RADS 4 和 5 患者的良性肿瘤，以减少不必要的乳腺活检。该框架用 Vision Transformer 提取影像特征、DeBERTa-V3-Large 生成文本嵌入，并经后期融合分类，在含 1,632 名患者的内部数据集上训练评估。多模态方法在测试集上取得最佳 AUC 0.72，优于仅影像（0.66）和仅文本（0.68）基线。
研究者将 LLM-SC 框架适配于尼泊尔 Pashupatinath 神庙，在 GPT-4o 抽取提示词中定义 12 类实体、4 类关系和 9 个方面-情感维度，对 2,500 条 Tripadvisor 英文评论进行抽取，共导出 11,286 条实体、6,232 条方面-情感和 5,590 条关系记录，新增的 8 类圣迹遗产实体类型占实体记录的 64.8%。对照 200 条评论的双标注参考，实体抽取 F1 为 28.4%，方面-极性端到端 F1 为 42.6%；人工裁定支持 194 个关系候选中的 153 个（78.9%）。
研究者提出 EEGazeNet，首个在视觉搜索中融合 EEG 信号的人类注意力预测方法，通过 EEG 引导的精修阶段将先进显著性预测结果适配用户认知状态。同时发布 EEGaze 140 数据集，包含 36 名参与者在 140 个自然场景下同步的 EEG 与眼动追踪记录，覆盖桌面图标搜索和杂乱车间找工具两类任务。评测显示 EEGazeNet 在该数据集上持续优于所有基线与消融条件。
一项 arXiv 研究探讨在 Speech LLM 的 connector-based 架构中扩展多语言 ASR 时，如何在不回放源语言训练数据的前提下保留已有语言性能。实验显示，单目标扩展中 target-only fine-tuning 和标准 TIES 合并会导致严重源语言遗忘，SSU-Wanda+TIES 取得最佳源语言保留权衡；多目标扩展中 update merging 提供稳定的源语言保留，而递归扩展虽可能提升目标适配但高度依赖顺序。
Reason-or-Recite（RoR）框架在 2026 AI City Challenge 交通异常推理赛道获得第一名，in-domain 排行榜平均分 0.6788。该框架将官方 chain-of-thought 标注重写为结构化、时间对齐的模式并 LoRA 微调 9B 视觉语言模型，另用 4-bit 量化 27B 模型学习标注风格，再由免训练 LLM judge 为每个问题在两个候选答案中选择。
SimPOTrans 是一个强化学习框架，通过两阶段 RL 后训练让离线语音翻译模型自适应对话式同声传译（SimulST），无需合成 read/write 轨迹或显式延迟优化。推理时无需外部决策策略，仅调整语音输入的 chunk size 即可灵活控制质量-延迟权衡。在 ACL 60/60 和 MCIF 基准的 En→De、En→Zh、En→Ja 三个语言方向上超越多个强基线。
论文提出在冻结的 VLM 外部搜索推理程序，借鉴 AlphaEvolve 的自主进化思路，由 LLM judge 依据训练题失败案例迭代改进代码。在 3 个 VLM 和 4 个科学图表基准上，描述性问题的精确匹配准确率平均从 16.6% 提升到 41.3%，单次最大提升 55.2 个百分点，进化后的程序还比基线快 3.8 倍。
推荐理由：论文说明相当一部分 VLM 图表问答错误来自推理管线而非模型本身，不改权重、只进化推理程序即可大幅提分。
研究者提出 LE-GDA，一种免训练的少样本 CLIP 适配方法，对单次冻结编码器提取的中间与最终表征分别拟合正则化共享协方差判别式，按查询标准化类别分数后与零样本分类器组合，无需梯度优化。在 11 个数据集、四种 CLIP backbone、五种 shot 数设置下，该方法在所有 backbone 上均取得最高平均准确率，将 16-shot 平均准确率从 78.01% 提升至 79.54%；单样本场景下仍比基线平均高 1.20 个百分点。代码与评测资源已公开。
研究者提出一种免训练的六类晶圆图缺陷分类框架，将连通域高亮与融合形态、位置和排除规则的提示词结合，用于冻结的大型多模态模型，无需标注数据和再训练。在 Mixed-WM38 数据集（6,866 张图）上达到 92.9% macro 和 93.8% 总体准确率；在 WM811K（9,000 张图）上分别为 79.1% 和 81.3%。消融实验显示八种替代规则顺序总体准确率为 90.1-91.9%，低于所选顺序的 93.8%。
新发布的 RC-BCJ-Dataset 包含 572 张经专家标注的钢筋混凝土梁柱节点破坏图像，覆盖节点类型、破坏机制、损伤类型与 DS0–DS4 严重程度等多属性标注。数据集提供 1,716 对图文诊断描述、全部图像的分割掩码以及预设训练-测试划分与 baseline 结果，可用于失效模式分类、图文生成与多模态建模等研究。
GitHub 仓库 JarvisUSTC/Awesome-Multimodal-RAG 整理了多模态检索增强生成（RAG）领域的最新论文、数据集与工具，涵盖文本、图像、视频、音频等多种模态。内容包括综述教程、通用与文档类多模态 RAG 论文、MMDocIR、SPIQA 等 benchmark，以及 Kiln 等工具框架，并持续接受社区贡献。
研究者推出 HerHealthGPT，一个面向女性生殖健康、结合 RAG、上下文感知澄清与来源验证的对话式 AI 系统。在 540 条英文消息和 30 名成人的测试中，证据检索将关注类别准确率从 54.1% 提升至 59.3%，澄清路由器达到 85.6% 召回率与 86.2% 特异度，83.3% 的参与者偏好启用检索的配置。系统仍需进一步临床验证。
一项 arXiv 预印本研究提出通过保留冲突的反事实干预来评估视觉语言模型（VLM）的模态指向控制，用 Flip 和 Stay 两个指标衡量答案是否跟随对指定模态的编辑。方法上构建新词学习，仅训练新增的视觉与文本指向词嵌入并冻结预训练模型，并引入 Counterfactual Twin-Margin（CTM）反事实监督。在三个 VLM、三个现有基准及自建 Ground-CF 基准上，学习到的模态词优于自然语言指令，LoRA 整体最强，反事实监督在多个设置中提升控制效果。
LLMCL 项目记录少数据多模态持续学习与紧凑模型研究：基于 Qwen2-VL-2B-Instruct 与 LLaVA-OneVision-Qwen2-0.5B-OV 双骨干、1313 条训练数据与 21454 条测试，正式完成 8/16 组核验，唯一指标为 Answer F1。最新 FFN 真实删除对照使完整权重减少 199.5MiB（11.704%），但 DEV 宏 F1 从 43.791987 降至 19.620168，该构造已关闭；尚无权重更小且保留强参照质量的自研框架。
研究者提出 MTA-Zero，一个无需预计算多跳语料的在线多模态 QA-Solver 共训练框架，用 GRPO 独立优化 QA Generator 与深度搜索 Solver。在六个多模态深度搜索 benchmark 上，该框架将 Qwen3-VL-8B Solver 的平均准确率从 36.91% 提升至 51.58%，与相同 agent 工作流下的 GPT-5 表现相当，并使 Qwen3.6-27B Solver 提升 10.82 分。
该 arXiv 论文提出在推理时让冻结双编码器利用同一图像的多条描述提升文本到图像检索：当描述与查询来自相同标注者时，九个冻结编码器的 R@1 提升 3.4 至 16.8 点；改用现成 captioner 生成时降至 1.9 至 7.2 点，跨标注源时最多约 1 点。分析表明正确候选的支持方式与负例不同，且该增益源于匹配人类描述，并未改善图像-文本 grounding。
arXiv 论文 arXiv:2610.33764 研究视觉语言模型的多证据整合缺口：模型能准确读取局部事实，却无法将其组合成满足全部约束的全局决策。例如 Gemma-3-27B 能正确恢复全部孤立事实，但在八项视觉实例上全局有效率仅 19.75%。通过 hidden-state 探针与激活替换实验，作者表明恢复事实并不足以支持可靠的联合决策。
GitHub 开源项目 bone-fracture-pseudo-mask-generation 提供一套可复现的弱监督骨折分割研究流水线，涵盖图像级骨折分类、Grad-CAM/LayerCAM 定位、伪掩码生成及可选 U-Net 训练，支持 ResNet-50 和 DenseNet-121 分类器，需 Python 3.10+。项目仅为研究原型，非临床诊断工具；因缺少 FracAtlas 专家掩码，无法报告分割指标，测试集仅在验证集选好阈值后评估一次。
PathKGen 是一种知识图谱辅助的多模态大语言模型（MLLM），用于数字病理学的全切片图像（WSI）报告生成。它包含视觉路径和知识路径两个分支，后者通过查询病理学专用知识图谱提取 WSI 关键形态学特征生成知识 token。在 WSI-Bench 数据集上超越此前 SOTA 方法，并将诊断推理以可视化图形式呈现，代码已开源。
研究者提出 HAD-VLM，一个混合自回归-扩散框架的医学视觉语言模型，将自回归文本生成与超声测量的连续数值预测结合在共享骨干中。在 EchoNet-LVH 四项超声心动图测量任务上，其平均绝对误差为 1.36、2.77、3.05 和 1.16 mm，较基于 Vicuna 的自回归基线降低 21.4-37.6%，并优于微调后的 Qwen3-VL。X 射线椎体测量的平均绝对误差从 11.4 像素降至 6.7 像素，医学问答性能保持不变。
一项 arXiv 研究提出用概率单纯形 Δ^{d-1} 替换单位球嵌入域，以消除 CLIP、CLAP 等多模态对比模型中的模态差距。方法结合轻量 softmax 适配器与 Total Variation 相似度，在五个多模态检索基准上将质心 ℓ2 差距降低 97–99%。检索性能达到或超过标准无约束模型。
研究者调查了美国应急管理者在多语言应急警报翻译中的工作流程、观点与运营挑战，发现他们往往不清楚商业机器翻译工具输出质量如何。论文随后据此评估商业翻译工具在应急响应中的效用，并提出安全使用这些工具的实用建议。
一项名为 SPOOK 的黑盒研究用简单像素级爬山算法对空白画布施加稀疏像素编辑，测试多模态对比编码器与自监督视觉编码器在自然图像流形之外的表征行为。在 ImageNet 和 Flickr30k 上，面向类别提示词优化的输入在 OpenCLIP 上取得较强的 top-1 和 top-5 定向检索表现；面向类别原型优化的输入在 DINOv3 上达到高目标对齐度。结果表明现代视觉编码器存在共同的流形外失效模式。
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间，权重流式传输可缩短扩容时间；流水线并行可容忍近中距离跨站点跳数，而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。
研究者提出一个可解释的歌唱情感识别框架，使用一套紧凑的歌唱专属特征，涵盖韵律、频谱、语音学和演唱技巧。该方法结合 SHAP 和 GRAD-CAM 解码模型决策，特征可降低跨歌手差异；在 VocalSet 的跨域评测中发现颤音和咽部技巧是情感表达的关键线索，SHAP 显示颤音受咬字速率影响。
研究者发布旁遮普歌曲毒性数据集 PGT-FG，基于 YouTube 公开歌曲构建，最终含 392 首歌曲的 2,396 个片段，其中 705 段（29.42%）标注为有毒。四名母语标注者产出 2,870 条标注，涵盖二元毒性、八类细粒度类别、严重程度等字段，整体毒性标签 Fleiss' kappa 达 0.6521，暴力类最常见（539 段，76.45%）。数据集已在 Zenodo 公开，不含受版权保护的音频或歌词。
SAAF（Signal-Aware Adaptive Fusion）是一个基于视觉-语言模型的零样本视频异常检测框架，通过双信号自适应采样、阈值门控级联架构和信号感知加权融合三项创新降低计算成本。在四个 benchmark 上，SAAF 在 XD-Violence（92.07%）、MSAD（86.70%）和 ShanghaiTech（80.54%）AUC-ROC 创无训练零样本方法新 SOTA，其中 XD-Violence 和 MSAD 超越有监督基线。其吞吐在三个数据集上较此前最佳零样本方法提升 2.43×、2.63× 和 2.22×，代码已开源，论文被 WACV 2027 接收。
论文提出 Confusion-Aware Skill Evolution（CASE），首个面向多模态情绪识别的 agent-skill 框架，用稀疏自进化的 EmotionSkill 库处理语义相邻情绪间的系统性混淆，推理时动态检索技能并保持 MLLM 主干冻结。在 CA-MER、DFEW 和 EMER 上的实验显示，CASE 将 Qwen3-VL-8B 在 CA-MER 上的平均准确率从 46.80% 提升到 59.13%，且学到的技能可在不同冻结的 MLLM 主干间迁移。
研究者提出 PILOT 框架，将推理建模为潜变量，用先验-后验协同演进方式引导多模态嵌入模型的推理探索。在 78 项任务的 MMEB-V2 基准上，PILOT 在 2B 和 7B 参数下均超越主要基线，整体得分分别提升 3.2 和 3.3 分，其中视觉文档检索提升最大（+6.1 和 +6.4 分）。结果表明关系监督更适合作为塑造训练中推理探索的信号，而非事后奖励。
一项被 AACL 2026 Findings 接收的研究系统分析了 Transformer 视觉编码器如何处理文本及其语义。逐层探测显示，强跨模态映射仅在最深几层出现，且发生在单模态物体与文字识别形成之后，表征从表层向语义层面递进。该层级在对比训练模型中最强；更大的自监督模型和富含文本的训练数据可在无语言监督时部分支持类似行为。
研究者提出 Self-RefineVQA，一个免训练的推理时自我纠错框架，让单个 VLM 迭代扮演生成者、批评者和精炼者，改进表格视觉问答。该框架无需额外标注数据或模型更新，在单语与跨语言表格 VQA 基准上均带来一致的准确率提升，尤其显著提升小模型表现，使 2B-7B 参数的轻量模型可媲美大得多的模型。推理成本呈线性增长，但省去了 SFT 所需的专家标注瓶颈，累计成本更低。
一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现：以视听输入为对象，发现检索头在新模态中保持稀疏并跨模态大量共享，在 18 个语言、视觉语言与全模态模型中，全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%，但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分，并在三个模型族上改善文档检索。
研究者对比了基于 WavLM 的音频母语识别分类器与基于转录文本的 zero-shot GPT-4o 分类器，使用口语学习者英语语料库和 CEFR 均衡评测集。总体上音频分类器在完整转录可用时表现更好，但文本方法在 A2 到 C1 水平占优，音频在 A1 水平更好且对输入长度较不敏感。