DIGOM:多模态医疗结局预测的解耦交互图框架
arXiv 论文提出 DIGOM,一种基于图的框架,联合建模患者内跨模态、患者间同模态和患者间跨模态三类交互,用于多模态医疗结局预测。在 MIMIC-IV 和 NIH-TB 两个数据集的五项临床预测任务上,DIGOM 全部取得最高 AUROC,且所需连接数少于现有多交互方法。该模型对模态缺失更鲁棒,消融实验显示各交互类型的贡献因任务而异。
新闻、仓库与研究,按时间排列。
arXiv 论文提出 DIGOM,一种基于图的框架,联合建模患者内跨模态、患者间同模态和患者间跨模态三类交互,用于多模态医疗结局预测。在 MIMIC-IV 和 NIH-TB 两个数据集的五项临床预测任务上,DIGOM 全部取得最高 AUROC,且所需连接数少于现有多交互方法。该模型对模态缺失更鲁棒,消融实验显示各交互类型的贡献因任务而异。
研究团队提出 Poseidon,一个从科学代码仓库自动生成多样化、可验证训练环境的流水线,同等仓库预算下比先前方法多提取近 10 倍环境,涵盖 Reproduction、Subflow、Completion、Correction 四类任务。由此构建的 Pearl 包含来自 7,110 个公开仓库、横跨 10 个学科的 97,659 个可执行可验证环境,是迄今最大、覆盖面最广的科学智能体训练环境集合。Qwen3.5 模型(9B、27B、35B-A3B)在 Pearl 上训练后在六项科学智能体基准上均取得一致提升。
研究者提出 CoRPS-Dial,一个可控双智能体框架,通过画像驱动的患者智能体与流程引导的医生智能体交互,并结合事后质量控制,合成诊前医疗对话。在冠心病场景实验中,其合成对话在信息覆盖、临床合规和自然度上更贴近真实对话;下游微调实验也验证了生成数据的实用性。
SCI-AGENT-EXAM 是一个面向科研工作流的智能体评测基准,包含 120 个专家标注任务,覆盖 11 个科学领域和 7 种研究任务类型。它采用程序化验证与经校准的 LLM 评审相结合的混合评估协议,并对执行轨迹的进展与稳定性进行分析。对 10 个前沿 LLM 智能体的实验显示,GPT-6 Astra 以 80.9 的总分领先,但仅 26.0% 的运行超过 0.95 成功阈值。
研究者提出 ProfileSim,一个面向金融营销外呼的场景化用户模拟框架,联合建模用户画像(人口属性与大五人格)和业务画像,基于真实语音对话数据微调,并用 GRPO 配合对话与话语两级分层奖励优化。搭配集成 SOP 约束与 RAG 的客服 Agent,ProfileSim 在口语自然度和用户画像一致性上最优,生成的话语更短且业务合规度相当,可支持意图识别训练、Agent 评测与冷启动部署。
论文提出 MART-GRPO,用 VLM(LoRA 微调)在 OpenVLA-OFT 的 rollout 中定位最后一次可见错误,对 GRPO 的失败反馈做事件引导截断,避免有价值的恢复动作被一并惩罚。该截断在理想停止点保持参考 GRPO 梯度估计的期望并可降低协方差。在 RoboTwin 2.0 上的实验显示,MART-GRPO 在多个任务上成功率超过全轨迹 GRPO。
Async-RBench 是一个面向 LLM Agent 异步任务执行的基准,包含覆盖八个场景的 200 个可执行任务,并通过场景控制器与 Event Response Contract(ERC)规范结果处理,同时以 Dynamic Replanning Score(DRS)独立于任务成功率进行评分。对九个 Agent 的评测显示 DRS 得分为 19.2 到 45.1,且异步交付下任务成功率平均为 26.0%,低于批量交付的 29.7%;对其中三个 Agent 在每次收到结果后重建计划的提示策略仅带来 2.6 到 3.5 分的 DRS 提升。
研究者提出 Self-RefineVQA,一个免训练的推理时自我纠错框架,让单个 VLM 迭代扮演生成者、批评者和精炼者,改进表格视觉问答。该框架无需额外标注数据或模型更新,在单语与跨语言表格 VQA 基准上均带来一致的准确率提升,尤其显著提升小模型表现,使 2B-7B 参数的轻量模型可媲美大得多的模型。推理成本呈线性增长,但省去了 SFT 所需的专家标注瓶颈,累计成本更低。
研究者提出 ANT-A Benchmark,覆盖 7 个跨领域、跨模态数据集,每个实例含任务专属标注指南和 5 个独立人类标签,并用 Fleiss kappa 评估模型标注与人类标注分布的一致性。配套的 ANT-OR 多智能体框架从正负反馈中蒸馏对比决策规则来优化提示词,agreement@>=2 准确率比较强基线高 4.5 分,与人类标注分布的 Fleiss kappa 差距在 2 分以内。代码和基准已开源。
LeafSkill 提出一种外部复用层,通过语义检索落地经验、将动作模板绑定到当前对象与可执行动作,并使用轻量 1.7B 选择器为递归 LLM Agent 选择动作。在 200 个 Robotouille 任务上完成 137 个,超过 ReCAP 的 121 个(68.5% vs. 60.5%),并在两者均完成的 106 个任务上减少 Qwen3.5-27B token 消耗 14.42%、调用次数 14.08%。技能保持在模型参数之外,冻结选择器可采纳 97.34% 的未见技能类型。
一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现:以视听输入为对象,发现检索头在新模态中保持稀疏并跨模态大量共享,在 18 个语言、视觉语言与全模态模型中,全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%,但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力,Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分,并在三个模型族上改善文档检索。
研究者提出 PASTA,一种免训练的提示词感知退火扩散采样框架,用于在扩散模型生成图像时严格保留指定区域(如标题、logo 或 UI 元素)。该方法在共享潜空间轨迹上融合全提示词与上下文提示词引导,并通过退火调度在早期去噪阶段抑制语义泄漏、后期逐步恢复视觉一致性。实验表明 PASTA 提升了保留区域的保真度,同时保持整体图像真实感与感知一致性,论文已被 ICONIP2026 接收。
研究者对比了基于 WavLM 的音频母语识别分类器与基于转录文本的 zero-shot GPT-4o 分类器,使用口语学习者英语语料库和 CEFR 均衡评测集。总体上音频分类器在完整转录可用时表现更好,但文本方法在 A2 到 C1 水平占优,音频在 A1 水平更好且对输入长度较不敏感。
DealsFlow 是一个部署于英国早期基金的人机协同智能体框架,让 LLM 阅读创业公司融资材料并引用证据评分,通过阶段化佐证上限(78/70/60 分)、只降不升的怀疑者调用和预取证据模式抑制评分虚高。在 142 笔三年以上 SEIS/EIS 投资上,其评分与总价值倍数的 Spearman ρ=0.45、识别减记的 AUC 0.71,优于无约束 LLM 的 0.38 和 0.68;20 份申请的试点中分析师单件耗时从 44.7 降至 18.9 分钟,但 70% 的报告仍需至少一处修正。
arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。
推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。
FOCUS(Frequency-band Optimized Cognitive-load Ultralight SSM)是一个基于 Mamba-2 的紧凑模型,用于 EEG 二分类认知负荷,采用固定 FFT 分解编码五个经典 EEG 频段,仅 0.04 million 参数、0.11 GFLOPs。在 11 名参与者、leave-one-subject-out 交叉验证的试点研究中,模型在全数据集上达到 74.75% 准确率,GPU 前向延迟 0.08 ms。权重共享配置比非共享版本高 4.55 个百分点,但差异未达统计显著性(p=0.083)。
研究者提出 Full-Duplex Long-Horizon Benchmark(FD-LHB),测试五个全双工语音模型的长对话能力,发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction(丢弃首个 KV 条目),重复则受模型自身近期输出强化;提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复,在最长一小时的重放对话中实时运行并显著减少对话崩溃。
推荐理由:论文诊断出全双工语音模型长对话崩溃的两个机制,并给出无需重训练的两项修复方法,具可迁移性。
研究者提出 Trigger-Neutralized Counterfactual Scoring(TNCS),通过对比触发输入与触发中和反事实输入的模型输出,来衡量触发词对目标行为的贡献,从而以更少的投毒样本攻击预训练代码模型。在三个 CodeXGLUE 任务和五个触发词家族上,TNCS 在极低投毒比例下取得比基线更高的攻击成功率,且不损害干净任务性能。它是唯一对所有触发词家族都有效的方法,所选投毒集还能迁移到不匹配的受害者模型。
arXiv 论文提出 RIVER 框架,将多智能体 LLM 交互的输出分解为原子声明,从收敛、探索、保留三个维度评估信息动态。研究在 40 个新闻生成受控案例上评估五种交互策略,发现反复汇聚式交互促进收敛但缩小信息空间,分布式接力则产生更广、共享更少的信息。结果表明集体信息动态更适合用信息流机制而非下游性能来解释。
研究者提出 LongVideo 数据集与 4DMemoryBench 基准,用于评测长时程时空推理。LongVideo 包含约 900 小时视频和 5,000 多道人工审核问题;4DMemory Harness 集成 4 项互补技能、22+ 专用工具模型和模型专属 RAG 系统。评测 13 个领先模型发现,独立基础模型难以胜任长时程任务,而 Harness 使所有模型提升超 50%,且同一模型在 4DMemoryBench 上比较早基准下降超 10%。
腾讯推出 TGR-EvoDAG,一个面向生成式推荐(GR)的多智能体代码演化框架,将代码演化建模为 DAG 以维护多条演化分支并合并互补创新。该框架引入阶段感知成本规划与主动下游协同适配,在 Amazon 公开数据集上离线指标最高提升 37.4%,Agent4Rec 模拟用户满意度提升 19.7%。在腾讯大规模商业媒体平台部署中,演化后的 GR 离线 Hit@1 相对提升 12.16%,线上 CTR 统计显著提升 0.40%。
ChoreoStudio 是一个音乐驱动群舞生成框架,将编舞规划显式化:音乐解耦器提取帧级节奏与段级结构特征,冻结的 omni-modal 模型充当编剧生成全局语义描述,Director 则输出队形选择、切换时机与舞者分配三项耦合决策。在 AIOZ-GDance 上,ChoreoStudio 在动作质量、群组组织与队形动态方面达到 SOTA。
研究者提出 Outcome-Conditioned Visual Credit(OVC),一个即插即用框架,将视觉关联度量与 token 级信用分配分离,解决 RLVR 中统一响应级优势分配忽视视觉观察作用的问题。OVC 复用现有 rollouts,无需辅助奖励模型、过程标注或推理时模块。基于 GSPO-token 实例化后,OVC 在三个模型上使六项基准平均准确率较 GSPO 提升 1.86-2.39 个百分点。
arXiv 论文 2610.32322 提出测量 LLM Agent 技能内化的新方法,用于公共技能库的技能退役。现有规则只比较有无技能的增益,无法区分技能已被内化和模型与技能都不具备能力的 uncovered 状态。新方法隐去技能后在由技能合成的任务上打分,并需另一模型从该技能获益时才采信高分。在 SkillsBench 上,31 项退役中 28 项依赖未通过的探针,按未辅助得分退役无可检测的奖励损失,判定一致性 Cohen's kappa 0.42 高于增益规则的 0.23。作者发布 1251 个技能及四个模型下的任务与逐项得分。
一项 arXiv 研究测试 System One(决策)模型的决策微调能否比普通 reranker 微调更适合做重排器。在 0.6B 到 27B 六个 Qwen 骨干和十个 TREC DL 与 BEIR 集合上,9B 及以下 reranker 微调在 nDCG@10 上领先 5 到 29 分,27B 两者持平。结论:需要 reranker 就直接微调 reranker。
一项 arXiv 研究提出方向敏感、相对读出的语义脆弱性分析框架,用储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 上预测保留任务含义的改写导致的失败,并可向 ReClor 迁移。匹配干预实验表明方向本身携带标量几何之外的因果信息,但失败很少跨选项顺序持续,说明共享预测规律与依赖上下文的方向性效应并存。
研究者推出 8B 大语言模型 Solvent,将长程推理扩展到多步逆合成任务。通过两轮后训练课程,模型学会交替进行迭代合成规划、外部可得性验证与自适应路线修订。经 RL 带来 2.1 倍性能提升后,Solvent 在四个 benchmark 上取得 61.86%,超过中规模语言模型和已有搜索式逆合成系统,媲美前沿万亿参数 LLM。
arXiv 论文 DMAIC-Bench(arXiv:2610.32305)提出评测 LLM 智能体自我克制能力的基准,用 97 个种子任务、覆盖四个行业 15 个工业案例,基于 Lean Six Sigma 的显式统计前提构建,配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示,GO 决策路由准确率平均 92%,NO-GO 决策仅 19%;盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动,区间 31% 至 61%。论文含 54 页 14 图,代码与数据已公开。
推荐理由:论文用反事实变体把自我克制从任务完成度里拆出来测,给出 GO/NO-GO 路由准确率的量化差距,可作为评估智能体决策的新方法参考。
Tianyi Xu 在 arXiv 发布 MemCryst 框架,通过记忆与技能的双向学习实现终身 LLM 智能体的上下文适应,冻结语言模型,任务结果只调整记忆记录的检索影响而不改写内容。在覆盖具身控制、长文档阅读、对话、数学和代码的十个场景中,MemCryst 在七个已报告对比中领先;ALFWorld 上联合服务成功率为 63.17%,高于仅用记忆的 59.83% 和仅用技能的 50.50%。
推荐理由:论文提出记忆与技能双向学习框架,并用跨十个场景的对照数据说明联合服务的增益,方法可迁移到终身智能体设计。
Part-DINO 是一个免训练部件发现框架,将低层图像分割得到的边界与 DINO 的语义特征结合,先按边界划分图像区域、池化区域内 DINO 特征再聚类发现部件。论文指出 DINO 特征因 ViT 刚性 patch 网格导致跨边界 patch 熵更高、分配置信度更低,边界模糊。在 CUB、CelebA、PartImageNet-OOD、PartImageNet-Seg 四个基准上,Part-DINO 超越免训练基线,并与弱监督、无监督方法保持竞争力。
一项 arXiv 研究对六个开源 LLM 在英语、法语、越南语和中文中的否定表示进行因果干预分析,发现否定表示可被因果控制且在各语言间高度共享。从一种语言提取的对比激活方向可在其他语言中诱导或移除否定,且每个模型仅需一个 SAE 稀疏特征即可跨语言控制极性。干预还能泛化到另外四种语言及基于 FLORES-200 的句子,数据和代码已开源。
论文提出 LatentLoop,通过压缩循环 MoE 模型第一次访问的序列、在第二次保留全分辨率并重新分配算力扩大隐藏层维度,降低验证 NLL。在 1.3B–7B 的 15 个配置上,拟合 NLL 1.988 时相对 vanilla MoE 和循环基线分别节省 19.0% 和 7.9% 计算量,并在九个基准的 0-shot 和 5-shot 设置下平均分更高。代码、权重与项目页已开放。
一项预训练至 1.3B 参数的实验发现,循环语言模型中的 halting head 存在两个问题:混合所有迭代的训练无法预测 token 真正停在哪次迭代,需加入偏向早停的强惩罚才有效;且按 batch 生成时序列要等到最慢 token 停止,无头的模型在同等成本下表现几乎相当,平均迭代次数指标会高估节省。作者建议报告 token 实际迭代数、停止阈值与 batch size,并提出训练前可预估收益上限的测试。
论文提出跨层共享的 Meta Expert,替代主流分层架构中各层独立的 Local Expert,以降低专家间冗余。在激活数量与专家粒度不变的情况下,模型仅用 70-80% 的专家即可匹配 Vanilla MoE 的性能,并取得更低的 cross-entropy loss 和更高的下游任务准确率;理论分析还显示 Meta Expert 为隐状态提供了更灵活的残差通路,提升信息检索效率。
论文提出投机解码方法 ReaDy,首次利用混合线性注意力(HLA)模型的循环状态为每个草稿位置检索位置特定上下文。基于 DSpark 骨架与两阶段适配策略,在数学、代码生成与对话七项基准上,ReaDy 以 Qwen3.8-27B 在单块 NVIDIA B200 上实现平均 3.16× 解码加速,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%,代码已在 GitHub 和 HuggingFace 开源。
论文提出 PN-Mix,一种面向 RoPE decoder-only LLM 的混合精度 key cache 量化方法,通过 RoPE 通道对的 query-key pair-norm 乘积识别显著通道对,在 prefill 阶段分配一次高精度并在解码全程复用。2.26-bit 平均精度下,PN-Mix 在推理、代码生成和 AIME 基准上达到与 2.32–2.39 bit 先前方法相当或更好的准确率,且可平滑降至 1.5 bit。
研究者提出 DIAL-S2ST,一种用于同声语音到语音翻译模型的后训练方法,通过 lookahead 预测的自蒸馏和单个 LoRA adapter 实现推理时可调的延迟控制。在基于 Hibiki 的法语到英语翻译实验中,仅 10 小时源语音即可完成适配,在质量与延迟之间取得良好权衡,且无需成对目标数据或奖励计算。
一项 arXiv 研究发现,在固定模型规模下,更宽的注意力头维度能提升长上下文检索性能,而预训练损失和短上下文非检索任务几乎不受影响。更宽的头拥有更高比例的检索头,将更多参数用于检索。即使冻结注意力模块的投影权重,继续预训练中检索性能仍随头宽提升,表明宽头还促进了嵌入向量和 MLP 等组件的有效适配。
研究者提出多轮 RL 框架 SOPO,通过教师模型在 rollout 中依据 ground truth 提供间接提示的苏格拉底反馈机制,缓解片段级幻觉检测中的奖励稀疏问题,并以 Turn-based Advantage Scaling 惩罚冗长偏置。SOPO (4B) 在 RAGTruth 上达到 SOTA,超过 GPT-5 等专有模型和标准 RL 基线,在四个域外基准上的平均分高于 GRPO,与 CAPO 互有胜负。1.7B 和 4B 模型及训练、评估代码已开源。
论文提出 SWE-Shift,一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准,包含 120 个场景、12 类变更族,并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率 20.34%;工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由:这个基准专门测任务执行中途环境被改动时的表现,17 个系统的成绩都下降,暴露了保留已有工作与刷新证据的短板。