综述:机器学习与大语言模型用于材料数据与知识的自动化提取
这篇 arXiv 综述梳理了从规则流程、NLP 模型、Transformer 编码器到 LLM 与智能体系统的材料数据提取方法演进,可处理文本、表格和图形等多模态信息。这些进展支撑了可查询材料数据库与知识图谱的构建,以及跨材料科学问答、AI co-scientist 和与自主实验室结合的闭环优化发现。作者评估了数据集质量、提取精度与计算成本,并指出样本级四要素提取、基准数据集稀缺和非标准术语等开放挑战。
新闻、仓库与研究,按时间排列。
这篇 arXiv 综述梳理了从规则流程、NLP 模型、Transformer 编码器到 LLM 与智能体系统的材料数据提取方法演进,可处理文本、表格和图形等多模态信息。这些进展支撑了可查询材料数据库与知识图谱的构建,以及跨材料科学问答、AI co-scientist 和与自主实验室结合的闭环优化发现。作者评估了数据集质量、提取精度与计算成本,并指出样本级四要素提取、基准数据集稀缺和非标准术语等开放挑战。
论文将 Gemini 3.8 Flash(temperature 0)作为事件触发跌倒筛查器的决策端,零样本判定 32x24 公开热成像数据集中的短片段:438 次摆拍跌倒中被叫出 67%(留出受试者 69%),499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中,395 个日常片段零误报,9 次可见摆拍跌倒捕获 4 次;删除提示词中一句关于离开视野的警示后,敏感率在家用场景升至 9/9,但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%,而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。
推荐理由:论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查,给出了敏感率与误报数据,并指出提示词一句话对结果的显著影响。
一项 arXiv 研究对四个 instruction-tuned LLM 按 Hofstede 单一价值维度进行微调,发现针对特定价值的训练会波及未训练的价值维度,并影响风险偏好、社会认知与安全特性等无关行为。作者建议 post-training 的价值对齐应纳入更广泛的行为评估,并探索价值训练在流程中的最佳位置。
arXiv 论文(已被 AAAI 2026 "Personalization in the Era of Large Foundation Models" Workshop 接收)指出,提示词隐私研究正走向统一框架的设计方向,具有误导性并可能造成虚假安全感。作者认为隐私本质上是情境化的,呼吁重新考虑统一框架路线,并提出三条路径:应用特定的 LLM 部署、情境化的隐私框架评估,以及提升隐私素养。
一篇 NeurIPS 2026 论文提出以“度量”视角看待 benchmark 评测,形式化出两类失败模式:度量失配与覆盖缺口,并给出带理论保证的两个诊断指标。研究分析了横跨 7 个领域的 25 个热门基准,发现不少基准隐式偏重某些难度区域,其排行榜结论需谨慎解读;另一些则留下大片难度轴未覆盖。作者还提出 BenchFill,一种针对难度的条目改写算法,可有效缩小局部覆盖缺口。
新框架 ThreadRAG 通过 Semantic Topology Mapper 将检索文档组织为保留上下文的语义节点并构建语义拓扑图,再由 Energy-Driven Pathfinding 经能量扩散定位相关子图并线性化为连贯文本证据路径。在三个多跳 QA 基准上,ThreadRAG 在 HotpotQA 上较文本中心方法提升 14.4% EM,在 2WikiMultihop 上超最佳基线 5.8% EM,同时 token 成本降至最强基线的 23.3%。
研究者提出 ToM2Vec,通过固定预算的连续推理 token 让 LLM 智能体在潜在空间中形成抽象心智理论。在 Overcooked-AI、Hanabi、多方谈判等合作、竞争与混合动机环境中,其表现持续优于基线模型,且能泛化到训练时未见过的模型家族(包括 GPT-5.4)。分析显示潜在 token 编码的是心智理论而非任务特定信息,且以文本表达推理时性能会下降。
一项 arXiv 研究测试基于 LLM 的 System One 决策模型在法律权威验证中能否在正确答案缺失时弃权:扩展 CaseHOLD 数据集(5,314 项中 1,670 项替换正确 holding)后发现,生成式 LLM 在无正确选项时仍于 38-86% 的情况下强行选择,最谨慎的决策模型为 30%。在标准 CaseHOLD 上,决策模型以 1/55 的成本达到与最佳生成式 LLM 相当的准确率(88.1% vs 88.2%);两者结合可将错误引用减半,其概率蒸馏到 Qwen3-8B 后可得校准良好的本地模型。
研究者推出 CulturalRiddles,一个完全由人工共创的多文化谜语基准,覆盖 62 种文化、45 个国家和 51 种语言,要求模型具备溯因与组合推理及文化语境知识。团队对 28 个 LLM 配置进行了自动与大规模人工评测,即使前沿模型在某些文化群体中准确率最高也仅 22%。全部数据与代码已公开,并开放持续扩展文化与语言覆盖的贡献流程。
FaultGene 是一个 LLM 辅助框架,可自动生成可执行的故障增强测试,用于自动驾驶系统的硬件在环(HIL)故障韧性验证。它基于给定的 Scenic/CARLA 基线场景和结构化故障规范生成测试用例,并通过语义一致性检查和执行反馈进行离线微调。部署后无需人工构造参考执行或反复迭代即可直接生成测试。
复旦等机构研究者提出 TIDE,将诊断评测重构为行为驱动的决策树归纳,从 benchmark 样本和模型分数递归构建层次化能力树进行细粒度能力诊断。该方法在 5 个模型、4 个 benchmark 上应用,发现聚合分数掩盖的能力差异:Claude Opus 4.6 在微观经济市场推理上达 100%,高于 GPT-5.4 的 83.3%,但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。
HiddenLens 是一个六层 BERT-LLM 流水线,可检测、分类、质疑并解决软件需求中看似清晰实则隐含的假设。配套的 HiddenLens Corpus 含 312 条需求、847 个隐藏假设标注,覆盖六类非功能需求。该框架端到端 F1 为 0.79,较 keyword 和 QuARS-Adapted 基线分别提升 71% 和 61%,其 BERT NFR 分类器 F1 达 0.847。
研究者发布一个电信告警风暴开放生成器(Apache-2.0),基于 Internet Topology Zoo 真实骨干拓扑,为每条告警记录确切根因与传播路径,所有字段绑定 NORIA-O、RFC 8632、RFC 8345 或 TMF642 术语,并附固定配置、划分、评分器和九个基线。「对最早 critical 告警设备排序」的单行规则 top-1 达 0.650,胜过时间方法 0.575 及 LLM 的 0.600(可查询图时 0.625),在真实运营商告警上也以 0.773 领先;但站点断电时 PoP 无告警,排序类方法得分 0.000,遍历拓扑的方法可达 1.000 和 0.833。
研究者提出一条管线,将微调神经检测器转化为基于人类可读概念的分类器:在检测器残差流上训练稀疏自编码器(SAE),为每个特征自动标注解释,只保留通过全局保真阈值的特征,再用其训练轻量分类器。实验显示这些特征对应 AI 生成文本高度具体的语言“破绽”,所构建分类器不仅高度可解释,在分布外文本上性能优于神经分类器和文体学方法。该工作已被 EMNLP 2026 接收。
论文提出 Agent Behavior Maps,通过在共享参考轨迹上计算居中的动作对数似然来表示 LLM-harness 组合,无需为目标 agent 运行新的环境 rollout。在 100 个 LLM 和四个环境上,基于 ALFWorld 的坐标可支持性能预测并识别行为相似性,且在控制成功率和模型规模后这些相似性仍跨模型家族存在。推导的误差 bounds 将坐标距离与轨迹 KL 相关联,八个交叉评分模型的距离排序与实测轨迹 KL 一致;harness 组件位移近似可组合。
Code Comprehensor 是一个混合检索-推理框架,结合代码依赖调用图、基于代码感知 LLM 生成分层文档的 CodeScribe,以及 CLIP 风格双编码器 CodeContrast,实现文本-代码对齐检索,并经 MCP 编排器回答领域查询。在 OpenCV 和一个 500 万行代码的私有仓库上,CodeScribe 衍生监督显著提升 text-to-code 检索准确率;RAGAS 评测显示输出 faithfulness 超过 90%。该论文已被第 42 届国际软件维护与进化会议(ICSM)接收。
GuideEvolve 是一个结合专家引导与 3Ts 机制(Think Fast and Slow、Throwback、Termination by choice)的自进化智能体框架。在 MGSM 上达到 89.8% 准确率(Gödel Agent 为 90.6%),MMLU 上 89.1%(对手 87.9%),方差降低 25-59%。其进化成功率达 100%(基线 82%),优化迭代次数从 30 次降至约 15 次。
一项 arXiv 研究表明,训练后的交换关联泛函在精确密度的 Kohn-Sham 轨道上的 Brillouin 残差,一阶控制自洽密度偏移及拟合能量与自洽能量之间的差值,且惩罚该项无需训练中求解自洽场。仅用 6 个能量和 11 个 CCSD 密度训练的神经 meta-GGA 泛函,在未见分子的原子化能量和密度上均超过 SCAN。
arXiv 论文(arXiv:2610.30026)指出,主流文档转换器会丢失作者通过排版编码的含义,导致企业 Agent 自信地答错而非明显不完整。基于 76 份真实政策文档的任务上,格式盲摄取使 micro F1 从 0.690 跌至 0.150(docling)和 0.075(纯文本),差距在两个厂商的六个回答模型上复现;span 级 leave-one-out 将损失定位到高亮(+0.302)和颜色(+0.262),6,460 份文档中 32.8% 带有刻意颜色或高亮。结论是可靠性取决于摄取而非推理,修复方式廉价且可测量。
推荐理由:研究用 76 份真实政策文档量化文档摄取层丢失格式线索的程度,并给出低成本可测的修复方向,对 Agent 构建者有直接参考价值。
一项 arXiv 研究提出 Behavioral Localization 方法,通过对比冻结 Agent 有无文本技能时的行为差异,定位对技能效果贡献最大的轨迹位置,再用这些位置监督训练短软提示。在 SpreadsheetBench 上用冻结的 Qwen3.6-35B-A3B 实验显示,轨迹中前 10% 的位置捕获 96.12% 的正向技能增益;共享提示设置下成功率从全轨迹监督的 30.36% 提升至 36.79%,任务特定设置下达到 57.38%,超过完整文本技能和 OPCD 基线。
论文提出 HGM-Dual,一个面向规划智能体的诊断引导式 harness 进化框架,将智能体进化表示为谱系感知上下文,并采用错误条件下的双路径子代生成。该方法在 case accuracy 上较最强基线最高提升 14.45%,并以 2x-4x 更少的评估预算达到 HGM 变体的最终性能。
研究者提出 SP-HLM 框架,用稀疏位姿接口连接高层任务策略与人形机器人全身控制。其中 SP-VLA 模型基于多模态观测和语言指令异步推理预测任务关键稀疏位姿与手指关节位置,SP-MGM 经两阶段蒸馏实时重建全身协调运动,SP-GMT 融合显式目标与隐式运动先验完成全身控制。仿真和真机实验显示其在运动跟踪、全身协调与移动操作成功率上优于现有方法。
一项 arXiv 研究(arXiv:2610.30045)通过可执行的算术规则与受控输入变化,将决策模型的表现拆分为规则迁移、联合可靠性和定向信息使用三个可分别测量的维度。实验显示适应增益随最近源答案一致度增加,完全冲突的四元组池化增益很小且在不同源划分下增益符号不同;等价改写在任务层面产生相反效果。测试的决策服务对等价措辞的回答变化大于相同文本重复,且通常遵循被改动表格数值或映射所隐含的答案目标。
研究者推出 SWE-DIVE,一个用于多轮环境评测编码智能体的动态交互式验证框架,弥补 SWE-bench 等基准只使用一次性、结构化 GitHub issue 输入的不足。框架包含可模拟不同行为模式的用户模拟器和评估其输出是否符合初始需求的对话验证器,整体嵌入 Harbor 环境,负责编排智能体、用户模拟器与验证器并执行测试环境。结果与源代码已在 GitHub 仓库公开。
May Espinola 与 Qifan Zhang 在 arXiv:2610.30051 提出统一闭环评测框架,在不做任务微调的情况下测试六个前沿模型对 LIBERO-10 机器人操作任务的能力,共 18 种配置、1800 次评估。GPT-6 Astra 以 44% 成功率居首,Gemini-4 Argon 为 43%;提高推理程度普遍有助表现但增加推理成本,模型在物体放置任务上较好,在精确空间排布和复杂多步交互上较弱。
一项 arXiv 预印本研究提出将图表作为数据智能体推理循环中的内部认知动作。团队构建了包含 200 个受控任务的 \probe{} 测试集,发现智能体能从自生成图表获得与数值输出同等的得分,但并不会稳定地主动使用图表。其提出的 \method{} 方法从轨迹 rollout 中蒸馏两类经验并经验证门筛选,在三个 held-out 基准、四个 LLM 骨干上提升分析准确率与视觉证据质量,且不改动模型参数。
一项 arXiv 研究将并行 AI 智能体的协作建模为具有可精确求值目标的离散块优化问题,证明最优分数染色可保留 1/χ_f(G) 比例的已验证局部改进,并给出智能体分配的线性规划与时间成本权衡。代码修复实验显示验证式合并可解决单个有效编辑组合后互相冲突的问题;在路线搜索智能体实验中,分数调度将实测墙钟时间中位数降低 15%。
AtomicRL 是一个面向 VLA 模型的 RL 后训练框架,通过原子任务结构实现可靠的 credit assignment 与自适应探索。其引入 Semantic-Aware Policy Optimization(SAPO)和 Bottleneck-Adaptive Target Exploration(BATE),并配套 Real2Sim2Real 流水线。在 LIBERO-LONG 上较 PPO 提升 3.6% 和 4.0%,CALVIN ABC-D 上最高提升 9.5%,真实任务平均提升 21.3%。
一项 arXiv 研究提出 Private Sparse RLHF 框架,在假设奖励模型仅由 s* ≪ d 个相关特征决定的前提下,首次给出基于 Bradley-Terry-Luce 模型的差分隐私稀疏奖励估计完整理论。该工作针对 Sample-DP 与 Label-DP 两种设置给出高效算法,Sample-DP 误差上界为 Õ(s*/n + s*²/n²ε²) 且几乎最优,实验显示在情感生成与安全对齐基准上隐私-效用权衡优于稠密基线。
研究者推出 BatchBench,一个评估 AI 系统在生物医学图像上对未见实验批次和数据来源的鲁棒性排行榜。它基于最大的公开生物医学成像数据集之一 JUMP-CP 构建,该数据集由 Cell Painting 实验生成,存在明显的批效应和域偏移。摘要指出,尽管域自适应方法已有进展,域偏移下的性能差距仍然显著。
研究者提出 ASTEROID,一种学生—教师监督学习框架,通过在学生在线策略采集的历史上下文上蒸馏特权专家动作,让部分可观测下的学生学会测试时探索。在 11 个环境(离散探索基准、机械臂操作、导航、Procgen 等)中,ASTEROID 在固定探索预算下回报约提高 2x,交互次数比 RL 基线少约 100x,并在视觉受限的真实机器人操作上比标准蒸馏成功率提升 +40%。
一篇 arXiv 论文提出多模态具身智能体(MMEAs)概念及统一能力框架 PAPAV,涵盖感知、预判、规划、执行、验证五项能力,用于对比多模态智能体与机器人系统从 computer-use 到 robot-use 的差异。分析 64 个 benchmark 发现,显式评估集中在 Act,仅 5 个评估 Anticipate、3 个评估 Verify;文中还梳理了从部分可观测到结果不可验证等五项物理约束带来的开放挑战。
Quant-Arena 是一个基于真实 A 股数据的端到端量化研究基准与公开排行榜。模型构建特征和股票打分代码,仅在 2022-2023 数据上获得反馈,并将策略冻结后在密封的 2024 年数据上评估,计分以实际超额收益为主,辅以信号质量与特征多样性,评估器还纳入交易约束、成本及基于模拟订单簿估算的市场冲击。在九个前沿模型中 GPT-6 Astra 得分最高,但没有模型在 2024 年跑赢等权市场;该基准开放任何模型或 agent 框架提交。
研究者借助 AI 智能体框架 AI-greement 发现了面向地理分布式状态机的新共识协议 A-greement。在 5 或 9 副本的六种部署中,该协议在写密集和读密集负载下分别将地理分布式键值存储的平均延迟较最快基线降低 12.2% 和 33.3%,只读负载下持平。AI-greement 集成协议知识库、模块化实现骨架和基于 Lean 的验证框架,其形式化还发现了既有共识协议中多个此前未报告的漏洞;作者强调人类专家在搜索前后仍不可或缺。
推荐理由:原文给出 AI 智能体在 Lean 验证框架下发现新共识协议的完整方法与延迟数据,还附对既有协议漏洞的发现。
研究者提出动态智能体基准 Environment Duels,评估九个前沿 LLM 作为环境创建者与解题者的双重能力,发现解题与环境创作是两种不同的技能:最强解题者并非最强创作者,而较小的模型能写出最难的环境和最有用的提示词。在 Qwen3.8-27B 的强化学习研究中,模型在他人环境上的提示词提升能预测这些环境训练对 held-out 推理与智能体基准的改进。代码已开源。
PhysiCalWorld 提出一种上下文提示的物理校准方法,将测试场景中的探索性交互片段编码为紧凑的物理描述符 token,使动作条件世界模型校准到实例特定的动力学,无需微调或解析物理建模。该方法仅用潜在预测损失端到端训练、无需物理标签,描述符在推理时提取一次即可跨 rollout 复用且计算开销可忽略。在覆盖多样物理变化的四个环境中,它显著提升了 rollout 预测精度和视觉规划成功率。
研究提出 LoopRec,通过单一权重共享模块的递归和每个条目独立的轻量级门控,将序列推荐中固定计算深度改为按条目自适应分配。诊断发现同一序列内各条目所需计算量差异巨大,多数浅层处理即可收敛,少数需全深度。在公开 benchmark 上跨四种 backbone 架构的实验显示 LoopRec 持续优于同等计算量的固定深度方案,代码已开源。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.8-27B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署方式,并支持 image-text-to-text 多模态推理。模型可通过 vLLM 或 SGLang 启动服务后以 OpenAI 兼容 API 调用。
arXiv 论文提出 CrashGym,一个可重放的限价订单簿模拟器,让 LLM 智能体在冲击触发崩溃前于实验室市场查询干预实验,再在去杠杆干预与流动性 backstop 之间做选择,并以 regret 衡量实验价值。在 24 个新采样世界的前瞻性研究中,实验室访问将 Luna 部署的平均 regret 从 8.878 降至 3.785,配对减少 5.092 效用单位,降幅 57.4%。整个评分通过直接模拟所有可行干预完成,无需人工或模型评审。
研究者推出 MOSAIC 基准,包含 923 个问题,覆盖 11-24 个会话的文本、图像、视频、音频人格化历史。该基准通过冻结问题、读取器、提示词与预算,对表示、检索、传递环节进行干预诊断,发现表示损失依赖模态、即使有金标准证据读取仍是主要瓶颈,且拒答能力弱。MOSAIC 将全模态记忆评测从排行榜转变为对写入、检索、传递、读取各环节失败的诊断。