长文档视觉问答的任务中心综述:分类体系、演进与未来方向
该综述以任务为中心,将长文档视觉问答(VQA)分解为文档解析、证据组织与检索、生成器组织与学习、评估四个组件,并为每个组件建立细粒度分类体系。时间分析显示研究重心从多模态内容理解扩展到高保真证据获取与持续证据管理。作者展望了证据充分性、可验证可纠正的理解、预算感知协调及持续文档理解等未来方向。
新闻、仓库与研究,按时间排列。
该综述以任务为中心,将长文档视觉问答(VQA)分解为文档解析、证据组织与检索、生成器组织与学习、评估四个组件,并为每个组件建立细粒度分类体系。时间分析显示研究重心从多模态内容理解扩展到高保真证据获取与持续证据管理。作者展望了证据充分性、可验证可纠正的理解、预算感知协调及持续文档理解等未来方向。
一项研究发布巴什基尔语开源资源套件与适配方法系统基准,含 71,567 篇文档、46.9M tokens 的网页语料及三个文本分类标注数据集。实验覆盖 82M-8B 的八种架构,比较全量微调、QLoRA、in-context learning 和持续预训练(CPT):QLoRA 在二分类上优于编码器微调,YandexGPT-5-Lite-8B 加 CPT 达 macro-F1 0.748,高于 XLM-R 的 0.653 和 mBERT 的 0.650。CPT 效果因模型而异,西里尔 tokeniser 更优,且 LLM 评审无法复现母语者的语言正确性评分,母语评测仍不可少。
论文提出 SQuAT,一种面向十亿参数 LLM 的形状-增益向量量化感知训练(VQ-QAT)方法,用分离的 STE 对方向和增益分别更新,方向通过 E8 球面码本量化。其分布式最近邻分配方案将 VQ-QAT 训练时间缩短 12.8 倍,并扩展到 10B token。在 instruction-tuned LLaMA-3.2-1B/3B、Qwen3-4B 和 base Qwen3-1.7B 上,SQuAT 在相同码本和初始化下始终优于标准 VQ-QAT STE,达到 SOTA VQ-QAT 精度。
研究者提出 SyRA-CS,一种基于 Reptile 元学习的合成到真实自适应框架,用于语码切换(CS)语音识别。该框架对每种语言对和预训练模型在合成 CS-FLEURS 子集上做元训练,再用 1 小时标注真实目标语音自适应,覆盖 Arabic、French、German、Hindi-English 四组及 Encoder-CTC、FastConformer-RNN-T、AED、Speech-LLM 四种架构。SyRA-CS 在全部 16 组模型-语言对比较的 WER 上优于持续微调,XLS-R 相对 macro WER 降低 17.7%,其余三个模型降低 5.3-5.8%。
一项实证研究评估了四个专用决策模型在越南语零-shot 分类中的表现,覆盖六个任务组共 13 个分类设置,并测试英语、越南语和双语标签描述及 teencode、拼写错误、去声调等语言扰动的影响。结果显示,英语标签描述下 JEV 表现最强,在 11 个分类设置中排名第一,双语描述并无一致提升;去声调导致的性能下降最大,使平均 macro-F1 降低 9.51–15.47 分。
一项 arXiv 研究指出,语言模型难以在图上从起点 s 生成到终点 t 的最短路径,原因在于监督信号与 tokenization 两方面。作者从理论和实验上证明多-token 预测(MTP)有效且其收益与图拓扑无关,并引入替代 tokenization,证明两者正交。结合这些方法,模型突破了此前工作的规模瓶颈,能在远超以往限制的图规模上稳定求解该任务。
一项对话系统研究用 bandit 策略控制可选观点与用户的距离,并比较标量立场打分与 Perspectivized Stance Vectors(将立场拆分到概念层面)。被试间实验(N=63)显示,概念级立场带来更多样的观点曝光和更广的立场覆盖,但不改变用户论证观点的深度或复述准确度。分析还发现,用户在“某一方未表态”的概念上复述观点最不准确,而非双方分歧的概念上。
一项针对月经健康监测的研究用结合结构化证据约束与 RAG 的受约束生成框架,评测 LLM 生成患者可读健康摘要时的语义漂移问题。在 3 个 LLM、4,500 份生成摘要上,通过 NLI、原子事实性与可读性指标评估显示,显式接地约束持续改善临床对齐,尤其提升不确定性保留。但这种改善以阅读难度和医学术语增加为代价。
TTS 通常用 ASR 转录输出评估词错误率,但识别器本身的错误也会被计入。在 LibriSpeech 和 FLEURS 上,评估识别器对人类语音中极罕见词的漏识率达 33-67%,用另两族识别器复核后,至少一个识别器听到的词的表观 TTS 错误率降低两到三倍(极罕见 LibriSpeech 词从 10-13% 降至 3-5%)。直接忽略这些漏识词有偏:识别器在这些词上发现 TTS 错误的频率为 4-6% 对 0.2-0.3%,且推翻约半数保留的错误。
研究者提出一种强化学习方法,同时奖励用户模拟器对复杂任务意图的遵循与对话行为的自然性,并以轻量判别器在对抗循环中定义自然度。其发布的 UserLM-2.0 在 46.2% 的对话中同时满足任务忠实与自然双重标准,是此前最强用户模拟器(14.1%)的 3 倍以上。
一项 arXiv 实证研究将近期 LLM 与微调 encoder-decoder 模型在知识图谱转文本生成任务的标准基准上对比,并结合经人工标注验证的图 grounding 无参考 LLM 评估。结果显示 LLM 在 reference-based 指标上大幅缩小、部分场景下追平与微调模型的差距,且在图 grounding 指标上表现更好:提示模型产生的矛盾和三元组遗漏更少,而微调模型的此类错误随图规模增长更快。两种评估方式相关性有限,反映其衡量生成质量的不同侧面。
双语语言模型的跨语言迁移与人类 L2 阅读中的 L1 偏向相符。研究基于 12 种母语背景读者阅读英文的眼动数据,发现使用与读者母语匹配的双语模型比单语英文基线和其他母语模型更能预测 L2 阅读时间。这种预测优势集中在晚期眼动指标,受 L1-L2 文字系统重叠程度调节,并在中等水平读者中最明显。
论文提出用 LLM 智能体作为语料调试器审计多语言数据管线,通过只读、有预算的 API 探索语料并将发现编译成可执行测试,再由母语者验证。在 FineWeb2 的 26.5M 文档斯洛伐克语子集上,三次运行各花费 $2.21-$2.84,共发现四个现象的七项问题,最大的是 1,408,437 篇(5.32%)通过管线过滤的机器生成内容农场;盲测支持 7 项中的 6 项(缺陷率 .53-1.00 对随机对照的 .08)。编译后的测试套件 0.7 秒即可扫全语料无需 GPU,而单次 LLM 分类需 $12k-$90k;最佳静态采样基线以不到一半成本验证了比任何智能体运行更多的选择器。
推荐理由:论文把 LLM 当语料调试器用一次而非逐条分类,并对比静态采样基线的成本与效果,方法对比值得数据质量工作者参考。
研究者提出 AI 风险本体 AIRO 和 AI 风险词汇表 VAIR,用于描述 AI 用例及其相关风险,辅助 EU AI Act 对高风险 AI 系统的风险管理与文档要求。两者基于 ISO/IEC 23894 和 ISO/IEC 22989 开发,并已通过共识流程集成进 Data Privacy Vocabulary(DPV),将 DPV 范围从数据扩展到 AI,以支持复用和多法规合规。
研究者提出 HERD(Harness-Evolving Recursive Distillation),一种混合持续学习框架:在 harness 中高效学习,并通过带双锚点的漂移约束知识蒸馏把经验内化为累积能力,抑制灾难性遗忘。在 TRACE+17 的 25 阶段任务流上,在固定内存与计算预算下,HERD 在新任务习得上匹敌最强参数化基线,同时遗忘最少、通用能力保持最好。
一项 arXiv 研究用 601 对天城文-拉丁文审计身份对测试发现,Qwen2.5-7B 在马拉地语提示下,同一人名判断准确率从拉丁文的 35.1% 降至天城文的 8.5%。在 374 对马拉雅拉姆语对上复现了该效应,0.925 AUROC,且标量校准可恢复 87% 的模型-探针平衡准确率差距。对 Qwen 中间层的干预将马拉地语同一人准确率从 6.5% 提升至 33.5%,不同人准确率保持 98.5%。
一项 arXiv 研究让四个 LLM(两个闭源、两个开源)以盲评方式评审来自 Nature、Science、Cell 等 20 本期刊的 200 篇 2026 年已发表论文,800 份评审中 75.6% 建议大修或拒稿,各模型比例从 17.5% 到 100% 不等(p < 0.001)。在被植入一个特定领域方法学或统计缺陷后,各模型检出率为 17.0% 到 60.5%,显示模型间结论高度不一致且假阳性与漏检并存。
研究者提出 post-hoc FSL,一个轻量可训练模块,可在已冻结的预训练模型上事后优化特征权重,不改动原模型架构与参数。该方法在统计与视觉指标(accuracy、F1、recall、precision、weighted t-SNE、silhouette score)上与 Integrated Gradients、DeepLIFT、Gradient SHAP、Feature Ablation 等事后方法对比,在合成与真实表格数据上均能识别相关特征,在保持原模型预测能力的同时提升可解释性。该工作已被 2026 IJCNN 接收。
一项研究分析了深度增长与循环结构如何促进语言模型的上下文学习,涵盖参数量最高 3B 的预训练模型与受控任务。实验显示此类模型比全深度稠密参考模型更依赖上下文信息,能更早习得 ICL 并在权重学习中更牢固地保留该能力。注意力追踪与消融实验表明,深度增长使早期 induction heads 跨层传播,模型更依赖 induction 排名靠前的注意力头支持 few-shot 表现。
研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。
推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。
一项 arXiv 研究表明,LLM 模型路由中的性能预测方法只有在候选模型在某任务上表现次优、或预测器相比模型有显著额外容量时,才能胜过以模型自置信度为基线的简单方案。理论上,优于自置信度的性能预测器可通过重新校准将优势精确转移到对数损失上,其优势上界为模型次优程度加上额外参数带来的增益。在 4 个 benchmark 上用 16 个语言模型的实验显示,模型经微调改进后,预测器的优势随之缩小,双模型级联路由也呈现同样规律。
研究者提出 PhysTrace,一个无需训练的框架,将 MLLM 生成的历史条件预期与观测视频窗口对齐,以时序定位视频生成模型中的物理违规并给出可解释描述。配套发布的 IntPhys2-Timing 基准为 IntPhys2 加入违规时间区间,PhysTrace 在其上的 Hit Rate 最高达 70.7%,并在 IntPhys2 的可能-不可能判别总准确率上优于对比方法。应用于 diffusion/flow 视频模型的重建视频时,该框架可跨时间步揭示属性与噪声相关的物理违规定位模式。
一篇 arXiv 论文提出 Conservative Meta-Agent Search(CMAS),将元智能体架构搜索形式化为带切换成本与硬风险约束的序贯现任替换问题,并配套引入 MetaInvest-Bench 模拟器用于评测元层级泛化。在 96 个金融流上,CMAS 将归一化平均 surrogate 动态预言机 regret 从 0.116 降至 0.104,held-out 效用从 0.44 提升至 0.48,每次更新的错误晋升率为 3.4%(名义目标 5%)。其部署推理成本低约 6%,但含搜索的 token 成本为对比方法中最高。
DIAL(Distilled Instruction-Adherence Levels)是一个实现对大语言模型指令遵循程度进行细粒度数值控制的框架,同时兼顾可控性、效率与可扩展性。它用冻结 LLM 结合 classifier-free guidance 生成训练信号进行 on-policy 蒸馏,并设计了基于 LLM hidden states 分类器的轻量级 steering adapter 逐 token 自适应调节强度。配套发布的 SteirF 数据集含 98,625 条指令,训练后 DIAL 可细粒度控制 persona,并与提示词结合提升可验证指令遵循。
一篇 arXiv 论文提出 Adaptive Skill Granularity 框架,将编码智能体的技能粒度作为基于任务结构、执行状态和宏技能失败的动作抽象策略来控制,系统由基于特征的粒度控制器和有限状态恢复执行器组成。在采用验证器定义成功、总成本及宏采用率、失败恢复、路由匹配等过程指标的确定性编码智能体协议中,运行时路由与显式的宏到微恢复比固定粒度执行更稳健,可恢复固定执行无法解决的受控宏失败。作者据此主张技能库应被视为可控、可验证、可恢复的执行抽象。
MoG-VLM 是一个运动自适应视频异常检测框架,用时间梯度幅度(TGM)做内容感知采样,仅在异常可能性升高的帧附近触发 VLM 推理。该方法在 XD-Violence、UCF-Crime、MSAD 和 ShanghaiTech 四个基准上分别取得 91.91%、84.30%、87.88% 和 78.96% 的 AUC-ROC,其中三个基准在 zero-shot、免训练设置下刷新 SOTA。在 XD-Violence 上较此前最佳提升 +0.57%,同时推理提速 1.31x,代码已在 GitHub 开源。
arXiv 一项研究显示,经强化学习后训练的 Qwen3-8B 小型开源模型可完成以往依赖 Claude、ChatGPT 等专有模型驱动的工具选择功能,在 ToolBench 上超越 Llama-4-Maverick(402B)。该模型可直接迁移到不同检索器,并能泛化到不同领域的新工具库。
研究者提出 SABLE,一种针对高维生成模型潜空间、评测预算有限的贝叶斯优化方法。它用贝叶斯仿射代理模型处理预测与采集,通过有限区间调度控制 off-span 范数避免欠探索,并用重压缩方案把信息压缩为 O(M) 伪观测。在合成基准与潜空间优化任务上,SABLE 实现高样本效率,决策时间保持在几十毫秒,大预算下比现有方法快数个数量级。
论文提出神经符号框架 FairFRESH,将家庭食物推荐建模为约束性公平分配,学习成员个体效用、通过确定性过滤器强制饮食规则,并基于 Shapley 和 Banzhaf 归因进行解释。在 NHANES 衍生数据上,学习效用模型 Recall@20 达 0.293,优于五个学习型推荐器(最高 0.244);四人家庭测试中 Nash 分配使 Gini 差距相对冲突消解降低 42%,Recall@20 从 0.180 提升至 0.197。所有推荐均满足编码的饮食规则,归因分数与移除组件后的效用损失相关(r = 0.76),模拟中共享餐食使储藏消耗减少约三分之一。
研究者推出 DuoCook,一个基于 Unreal Engine、受 Overcooked 启发的视觉规划与协调评测 benchmark,由单一视觉语言模型通过俯视视觉观察同时控制两名玩家。benchmark 包含 5 类共 20 张地图,评估任务得分、订单完成率、交付精度、动作接受率和 API 花费,并对共享自写笔记记忆做了消融实验。表现最强的模型 gpt-6-astra 平均订单完成率仅为 26.2%;笔记记忆对 Claude 和 Qwen 平均加分,对 GPT 和 Gemini 则为负向。
一项生产案例研究将合规与个性化信号从提示词规则迁移到检索时结构化上下文,基于含 1,867 条制药宣传语、覆盖四个产品的 Golden Data Model 构建内部工具 Composer。在六个产品-受众细分上,预期适应症提升 29%、预期内容类型提升 62%、预期目标受众提升 67%,6C 质量分提升 86%,宣传语复用提升 34%,每周 API 成本降低 29.5%。
研究者用机制可解释性技术在多种不同架构和规模的 LLM 中识别出与隐喻相关的因果子空间,并证明其可探测和操控模型内部的隐喻表征。这些子空间既能引导分类任务输出,也能控制生成任务输出的隐喻性,且适用于不同词性。论文已被 BlackboxNLP 2026 工作坊接收。
Jev-DLC 是一种从类型化反馈中学习用户偏好的决策级持续学习方法,把每次纠正同时视为动作身份证据和偏好-拒绝选择间的有向关系,存储在冻结打分器之上的两个有界通道中,不保留原始交互历史、不增加打分器调用、不做运行时语言模型反向传播。作者还提出按时序考核纠正对后续决策影响的 TCPA-Bench。在 TCPA-Repeat 上,Jev-DLC 达到 44.83% user-macro 准确率,比 Recent-4 历史回放高 2.43 个百分点;在至少两次早期反馈后达到 56.07%,领先最强对比方法 7.54 个百分点。
一项研究揭示了自适应残差路由解码器中隐藏的未来 token 泄漏如何制造虚假的架构进步:一个异常 24 层 checkpoint 将验证损失从基线的 3.5958 降至 1.4259,却未通过 prefix-invariance 审计,泄漏源自经动态路由查询路径广播的全序列摘要。两个独立训练的 12 层因果修复消除了可检测的泄漏,验证损失和参考困惑度回到对照水平。研究借助 LeakScore 等诊断工具指出,低 teacher-forced 损失须结合全模型因果检查与自由生成评估解读。
一篇 arXiv 论文提出“可争议治理”模式:基于 LLM 的专家智能体为有争议的元数据决策生成带评分和引用的论证,steward 可在提交前接受、拒绝、修改或补充论证,治理记录保留证据、干预与结果。工作流包含分级分诊路径、评分与记录模型及已验证决策的先例门控,版本化领域术语表为智能体提供术语与缩写定义。两个 HVAC 用例展示了基于 Brick Schema 的点位分类(附开源参考实现)和关联索赔字段、遥测与服务记录的保修失效模式决策。
AOPD(Advantage-Based On-Policy Distillation)提出在 Online Policy Distillation 中区分教师偏好与对学生的实际帮助,依据教师动作在学生策略下的反事实优势进行加权,改善学生预期结果的动作被强化,否则降权。该方法无需额外 rollout 或奖励评估,仅用学生轨迹的终端奖励即可无偏估计目标。在数学、代码和 Medqa 任务上,AOPD 在外接教师与自蒸馏设置下均超过蒸馏与 RL 基线。
一项受控研究系统考察了扩散语言模型的可学习 unmasking 策略,发现用最终输出匹配做标签在低 NFE 下过于宽松,隐藏状态单独较弱但可补充置信度,约 10% 的 NFE 减少即可抵消最高 7.5M 参数策略的开销。研究在 LLaDA-8B-Instruct 上训练的 856K 参数策略取得 GSM8K 上最佳精度—NFE 前沿与最高吞吐,在 MATH-500 和 HumanEval 中等目标下具竞争力,并基本可迁移至 Dream-7B-Instruct。
arXiv 论文(2610.31579)研究谄媚的反向问题:当 LLM 自信、一致且错误时,用户是否会向它弯腰。32 名参与者与基于 GPT-5-mini 的 5 个助手学习科学话题,各助手事实被 0-100% 替换为貌似合理的错误,104 次测验、1040 个答案中得分从 7.4 降至 2.9/10,被植入错误选项在篡改题目中被选 60%(正确教学仅 11%,odds ratio 12.5),吸收的错误以 8.4/10 高置信度持有,置信度区分正确性的 AUROC 从 0.70 跌至随机水平,而事后信任评分几乎不变。论文提出基线校正的 Human Deference Index 量化人类侧谄媚,主张可信性是人机对的属性,谄媚评测应测双向。
推荐理由:研究给出人向AI弯腰的量化指标与实验数据,把谄媚评测从模型单向扩展到人类方向,方法可直接复用。
一项研究用西班牙 MIR 住院医师考试规则评测了 4 个 8B 至 27B 参数的开源模型,共 1,552 道题。三个较大模型答完全部题目可排进约前 600 至 3,000 名,41 至 43 个专业仍可匹配。但医学微调虽降低过度自信却牺牲准确率,且替换或删除图像不影响成绩,13-38% 的正确答案因临床不合理理由排除干扰项。
研究者推出开源、自托管的 VERA 仪表盘,帮助机构基于 EU AI Act 的 18 项技术要求(其中 12 项可由现有 benchmark 测量)评估 LLM 部署,并在某欧洲大型银行内部使用,同时记录每次评估的能耗。被试实验显示,用仪表盘完成负责任 AI 评估的平均时间从 56 秒降至 30 秒,内部调查有用性评分达 4.36/5。仪表盘与研究材料已公开发布。