跳到正文
  1. arXiv · cs.CL54

    arXiv 论文:用自主进化优化推理程序提升 VLM 科学图表分析准确率

    论文提出在冻结的 VLM 外部搜索推理程序,借鉴 AlphaEvolve 的自主进化思路,由 LLM judge 依据训练题失败案例迭代改进代码。在 3 个 VLM 和 4 个科学图表基准上,描述性问题的精确匹配准确率平均从 16.6% 提升到 41.3%,单次最大提升 55.2 个百分点,进化后的程序还比基线快 3.8 倍。

    推荐理由:论文说明相当一部分 VLM 图表问答错误来自推理管线而非模型本身,不改权重、只进化推理程序即可大幅提分。

  1. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  1. arXiv · cs.AI54

    arXiv 论文:用 Gemini 3.8 Flash 零样本筛查低分辨率热成像跌倒视频

    论文将 Gemini 3.8 Flash(temperature 0)作为事件触发跌倒筛查器的决策端,零样本判定 32x24 公开热成像数据集中的短片段:438 次摆拍跌倒中被叫出 67%(留出受试者 69%),499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中,395 个日常片段零误报,9 次可见摆拍跌倒捕获 4 次;删除提示词中一句关于离开视野的警示后,敏感率在家用场景升至 9/9,但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%,而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。

    推荐理由:论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查,给出了敏感率与误报数据,并指出提示词一句话对结果的显著影响。

  2. arXiv · cs.AI54

    arXiv 论文揭示企业文档摄取中格式线索的静默丢失

    arXiv 论文(arXiv:2610.30026)指出,主流文档转换器会丢失作者通过排版编码的含义,导致企业 Agent 自信地答错而非明显不完整。基于 76 份真实政策文档的任务上,格式盲摄取使 micro F1 从 0.690 跌至 0.150(docling)和 0.075(纯文本),差距在两个厂商的六个回答模型上复现;span 级 leave-one-out 将损失定位到高亮(+0.302)和颜色(+0.262),6,460 份文档中 32.8% 带有刻意颜色或高亮。结论是可靠性取决于摄取而非推理,修复方式廉价且可测量。

    推荐理由:研究用 76 份真实政策文档量化文档摄取层丢失格式线索的程度,并给出低成本可测的修复方向,对 Agent 构建者有直接参考价值。

  1. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

  2. GitHub · 去对齐工具与仓库62

    ricca200xx 开源小票抽取评测框架 llm-doc-extraction-eval

    ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架,基于 CORD-v2 数据集,通过 LiteLLM 切换模型后端,所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中,54% 的字段单元无值,全答 null 即得 54.0% 宏平均准确率;本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%,更严格的 v2 提示词将其提升到 86.0%(配对 +36.5 点)并把幻觉率降到 23.1%;对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。

    推荐理由:原文给出带置信区间和 always-null 基线的完整评测设计,读者可以照着复现小票抽取模型的幻觉测量。

  1. arXiv · cs.CL58

    PrismaCoder:基于分解式评分标准合成的开源多模态代码模型发布

    Qiushi Sun 等人在 arXiv 发布论文,提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准,同一 rubric 既筛选监督语料又驱动强化学习;据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集,两个模型在开源中大幅领先并接近闭源系统,代码与数据已开放。

    推荐理由:论文把渲染正确性拆成可核查的评分标准,同一套 rubric 既筛数据又当强化学习奖励,方法可迁移到其他多模态任务。

  2. arXiv · cs.CL53

    SYNC:无需训练即可实现跨语言模型间的事实通信

    Xin Li 在 arXiv 发布 SYNC(Symbol-Indexed Neural Communication),一种免微调、免学习翻译器的词索引接口,让异构语言模型通过共享词表索引交换事实。发送方仅凭描述从共享词表选词并发送索引,接收方用自己的词方向向量将事实写入隐藏状态;在 3 个发送方与来自 5 个模型族的 9 个接收方上,新场景四问成功率 72.0-98.3%,最高比中层写入高 96 个百分点,两个最大接收方与纯文本持平;任务无关探针提前预测可用写入深度 45/45 命中,新布局下逐条事实消息保持 89.6-100% 成功率。项目页、代码与数据已公开。

    推荐理由:论文给出跨架构模型间免训练通信的具体接口设计和多组收发模型组合的实测数据,方法可复现且代码数据已开放。

  1. arXiv · cs.AI53

    KnowForge 提出角色分工的多模态文档问答智能体流水线

    KnowForge 论文提出按职能分工的文档问答流水线,包含知识点索引、只能检索的 Locator、桥接判断器、只能读文本图像表格的 Deep Reader 和格式检查合成器。自托管 Qwen3.6-35B-A3B 在 M3DocVQA 上达 F1 47.5,比 M3DocRAG 高 11.0,DeepSeek-V4-Flash 达 53.5;MultiHop-RAG 准确率 73.5,超过已发表最强 RAG 与 GraphRAG 的 71.2。消融显示把两个智能体合并反而损失 1.9 F1,论文开源了提示词、代码和三个基准的只读知识库。

    推荐理由:论文用消融实验拆解各智能体角色的贡献,还验证了合并多角色反而掉分,方法可迁移到其他 RAG 流水线设计。

  2. arXiv · cs.CL62

    小米 LLM-Core 团队发布 MiMo-V2.6 技术报告,通过扩展强化学习迈向自我改进

    小米 LLM-Core 团队在 arXiv 发布 MiMo-V2.6 系列全模态模型技术报告(arXiv:2610.11959),核心是通过扩展 RL 计算推动模型自我改进。RL 前先在多模态语料上做 mid-training,RL 计算沿三轴扩展:异步训练每步消耗 1,568 个样本、2.7-3.7B tokens,上下文最长 1M;环境覆盖代码、通用、视觉与 cyber 域;采用 groupwise agentic grading 提升长程任务奖励信号精度并引导更短的 token 高效解法。为稳定训练冻结了 MoE router 并建立多层防 reward hacking 机制,同时开源训练动态、RL 环境与 RL 框架。

    推荐理由:报告系统拆解了沿数据、环境、评分三轴扩展 RL 计算的工程细节,并开源训练动态与环境框架,可作复现参考。

  3. arXiv · cs.CL52

    WOVEN:将视觉世界建模融入多模态大语言模型的训练源与基准

    arXiv 论文 2610.12417 提出 WOVEN,一个面向视觉转移推理的训练源与基准,包含 36076 条覆盖 20 种场景、5 种动作和 8 种推理类型的样本。评测 GPT-5.4 和 Qwen3-VL-235B-A22B 等 38 个前沿多模态模型发现其远低于人类水平;用 WOVEN 训练后,每个约 2000 条的子集在 26 个外部基准中的 22 个带来最高 27.3 个百分点的提升,并可替代任务自身 30-50% 的训练数据。

    推荐理由:论文用约2千条子集就在26个外部基准中改善22个,给出了按推理操作而非场景选取监督的可迁移训练配方。

  1. arXiv · cs.AI52

    PaTh 论文提出在扩散模型中引入递归潜空间推理,无需符号监督

    Paweł Skierś 在 arXiv 论文中提出 Painter-Thinker(PaTh):一个小型递归网络在每个去噪步骤内细化潜状态,经 ControlNet 适配器引导冻结的扩散模型,仅用重建损失训练,无需符号目标、求解器或验证器。PaTh 解决 92.5% 的困难 MNIST Sudoku(此前最优 75%)和 71.2% 的极难样本(此前最优 4.1%),参数量 10M 对比标准扩散模型的 82M,在迷宫、Queens 和 CLEVR 场景上也有提升。

    推荐理由:论文把递归推理引入扩散模型且无需符号监督,并给出与既有最优方法的解题率对比,方法细节可直接参考。

  1. arXiv · cs.AI54

    DSV-Mem:面向专业工作流的多模态记忆评测基准发布

    Jike Zhong 等发布 DSV-Mem 基准,用于评测多模态大模型 Agent 在专业工作流中的稠密有状态视觉记忆,含 1,000 道题和五类问题,覆盖 27 种模型与记忆管理配置。最强基线得分低于 45%,分析显示状态演进尤其是主导更新次数是主要难点,而对话长度、OCR 和算术并非瓶颈,状态感知设计比增加推理量更有效。基准与代码将公开,论文链接 https://arxiv.org/abs/2610.08102v1。

    推荐理由:论文分析了 27 种配置下的失败模式,指出状态更新追踪而非对话长度才是主要瓶颈,对记忆系统设计有参考价值。

  2. arXiv · cs.CL52

    VisionWeave 论文提出弹性视觉表征编织能力,在 Qwen3.8-27B 上平均节省 43.0% token

    论文提出 VisionWeave,让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器,通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B,训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B,该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能,优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线;部署于 SGLang 时吞吐提升 2.3x,平均 TTFT 降低 54.4%,平均 TPOT 降低 60.6%。

    推荐理由:论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据,读者可对比 token 剪枝基线评估其取舍。

  1. arXiv · cs.CL53

    MemPilot:面向 LLM Agent 的按需多模态记忆整理框架

    论文提出 MemPilot,一个按性能、成本、延迟偏好按需编排多模态记忆整理的框架。其通过强化学习优化多步 LLM 策略,在从 query-agnostic 记忆检索与委派异构 LLM/VLM 做查询级整理之间迭代选择,并联合控制证据量、整理指令、模型选择和视觉访问;采用目标级优势解耦与前缀边际效用估计做信用分配。

    推荐理由:论文用强化学习让策略按性能、成本和延迟偏好动态调度记忆整理,在五个多模态基准上给出比现有基线更宽的权衡前沿。

  2. arXiv · cs.AI64

    研究视觉语言模型视觉定位输出的安全对齐缺口

    arXiv 论文 2610.05637 系统研究了视觉语言模型(VLM)视觉定位输出的安全性,将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对仅在输出形式上不同的匹配请求。

    推荐理由:论文用 15,401 对匹配请求量化了 VLM 在 grounding 输出上比 VQA 更不安全的差距,并给出可复用的微调方法与提升数据。

  3. arXiv · cs.AI53

    OR-Bench 诊断 VLM 物体旋转推理缺陷并提出 RotationCue 改进

    arXiv 论文 2610.05715 提出 OR-Bench,用 8 项任务评测 12 个 VLM 的物体旋转推理能力,发现检测任务接近 100% 准确但角度估计接近随机,91.8–100% 的预测集中在 0°、90°、180°,称为 canonical-angle collapse。

    推荐理由:论文用线性探针证明 VLM 已编码旋转信息却未使用,并给出可复用的 RotationCude 解码器改进方案。

  4. arXiv · cs.AI52

    Infinite-Dreamer:用图像编辑世界模型合成数据训练 GUI Agent

    论文提出 Infinite-Dreamer,一种免仿真的数据合成方法,通过像素级图像编辑世界模型将 GUI 状态转移建模为图像编辑任务,利用 VLM 将动作引起的 UI 变化描述为结构化 delta-text,再微调图像编辑骨干网络合成逼真的截图过渡,生成单帧视觉鲁棒性数据与多步想象轨迹。

    推荐理由:论文用图像编辑世界模型合成 GUI 训练数据,仅凭合成数据微调 Qwen3-VL 即在 AndroidWorld 等基准上超过基线。

  1. arXiv · cs.AI54

    EyeRobot 2.0:用主动注视实现无需腕部相机的精准操作

    研究者提出 EyeRobot 2.0 框架,仅用单个立体相机通过主动注视实现精细双手操作:双目视点转向对准 3D 注视点,图像按中央凹方式分配更多视觉 token。

    推荐理由:原文给出主动注视框架在 1000 次真实与 1800 次仿真试验中的成功率对比数据,可据此评估去掉腕部相机后的实际代价与补偿效果。

已经到底了