APB 基准:通过多轮主动探测评估 LLM 知识推理能力
研究者推出 Active Probing Benchmark(APB),将概念识别转化为多轮交互式推理任务,覆盖八个学术领域的 960 个目标概念。评测发现一个反直觉现象:多数开源推理模型显著弱于其对应的 instruction 模型,表明它们在交互场景中难以运用过程性推理获取和应用专业知识。APB 还提供了可扩展的基准生成流水线。
新闻、仓库与研究,按时间排列。
研究者推出 Active Probing Benchmark(APB),将概念识别转化为多轮交互式推理任务,覆盖八个学术领域的 960 个目标概念。评测发现一个反直觉现象:多数开源推理模型显著弱于其对应的 instruction 模型,表明它们在交互场景中难以运用过程性推理获取和应用专业知识。APB 还提供了可扩展的基准生成流水线。
arXiv 论文 arXiv:2610.16135 提出全模态大语言模型(Omni-LLMs)存在 knows-but-cannot-say 现象,即模型能正确感知视觉、音频、IMU 等非文本模态信息,却无法在回复中表达出来。作者提出 token 级模态对齐指标 TMA,发现非文本表征与回复 token 的对齐度和获得的注意力都低于文本表征,并提出 perceive→infer 策略 OmniCatalyst,用模型自生成的文本补充原始模态输入;在七个 Omni-LLM 上平均提升 7.29%,使模态偏好更均衡,知识提取阶段会提高 TMA。论文共 36 页、25 图、14 表,代码已开源。
该研究提出一个人机协作的交通规划框架,将大语言模型、MCP 接口、开源规划引擎 AequilibraE 和可微分用户均衡(UE)分配层结合,通过直接微分 Beckmann 交通分配问题的 KKT 条件实现可微分 UE 层,使非专家用户能执行网络分析并进行优化。框架在行程时间函数标定和预算约束下网络设计两项任务中得到验证。
arXiv 论文识别出 LLM 智能体的 Phantom Merge(PM)错误:智能体把无依据的断言归因于其承诺的实体。提出的 AGR 方法在 Shopping 检测集上 AUROC 达 96.2%,FAC 修正方法将轨迹级 PM 从 51.4% 降至 6.2%。代码已公开。
论文提出 Pollard,一种基于受治理语义执行树的框架无关运行时,用统一的步骤身份记录完成、拒绝、资源结算与分支历史,支持不调用底层操作的严格回放和跨并发 worker 的事务性存储。在签名确定性冻结下,双副本评估未出现不变性违反,严格回放避免了外部调用,语义变异全部被检出且对照组无误报,多框架矩阵验证了参考行为。论文已被 IEEE ICTAI 2026 接收(短文)。
论文提出 Unravel,一个免训练框架,可将单张图像转为每个物体都可独立移动的可交互 3D 场景。其方法由视觉语言模型规划可见物体、图像编辑器逐层移除并还原被遮挡区域,以点云为主要模态恢复空间关系,每次编辑先验证再纳入重建,并按反向移除顺序重建场景,将观测点作为物体尺寸下限,最后物理沉降与智能体审查修正漂浮和穿透问题。在多样室内场景实验中,Unravel 比现有方法恢复更多物体、摆放更忠实、物理合理性更高。
推荐理由:这篇论文展示了用智能体逐层剥离图像来重建可交互 3D 场景的完整做法,各环节可验证可复现。
arXiv 论文提出 WildTrace 基准,在覆盖 SFT、DPO 和 RL 的真实大规模后训练流程中评估训练数据检测方法,并构建四个任务上分布匹配、成员标签可验证的评测集。结果显示现有最佳方法的平均 AUC 仅 0.529,接近随机猜测水平(0.5),且评测协议会显著影响测得的检测性能。
研究者提出 TIPER,一种保持任务完整性的用户人格演化方法,可自动发现暴露交互式 LLM 智能体鲁棒性弱点的用户策略。在四个交互式智能体基准上,TIPER 使全部 12 个 GPT-5.4 设置及 7 个智能体共 28 个智能体-领域组合的 held-out avg@3 分数下降,降幅 5.8 至 33.7 个百分点,中位数 22.9 个百分点。该方法还构建了行为-失败分类法,为智能体鲁棒性改进提供失败分析依据。
该研究将 Fisher information 作为区分泛化与记忆化的诊断工具,在 CIFAR-10 上训练视觉模型并加入只能通过记忆化学习的受控噪声,发现把模型权重投影到 top Fisher 特征向量上可解耦任务泛化与噪声样本记忆化,且该解耦在不同层表现不同。同类现象也出现在解决合成上下文学习任务的小型 transformer 中,并可在可解析求解的线性模型中闭式重现。论文共 20 页,已被 NeurIPS 2026 接收。
arXiv 论文提出“交互式 4D 体积液体预测”任务:根据固体在液体中的运动预测未来稠密 3D 液体速度场的时空演化,可服务于机器人液体操控、数字孪生与刚体-流体视频生成。作者提出两级递归框架 TIDE 与 TIDES,其中 TIDES 加入传输感知耦合与显式稳定机制以降低长时滚动误差,在迁移基线对比、组件消融及运动/尺寸 OOD 测试中取得最佳预测性能。代码已开源。
arXiv 论文 ProCARE 将真实世界研究(RWS)自动化重构为受限编译:把异构数据画像转换为 Evidence Contracts,并将研究目标编译为强类型中间表示 RWS-IR,再通过确定性校验与局部修复检查生成的工作流。在 36 项 EHR benchmark 任务上,ProCARE 在代码可执行性、语义一致性和结论可溯性上超越强 LLM-agent 基线,自动违规诊断与盲评专家审查达成中至高度一致,论文已被 NeurIPS'26 接收。
论文提出 SLKR(Semantic Label Knowledge Retrieval),一种以标签为中心的检索增强生成框架,将旗舰 LLM 离线构建的标签定义与边界规则复用于轻量模型的在线推理,完成零样本文本分类。在三个公开 benchmark 和一个多语言图书分类数据集上,SLKR 使用 Qwen3.5-4B 在全部四个数据集取得最佳结果,用 Ministral-3-3B 在其中三个取得最佳,且无需任务专属标注样本。
arXiv 论文提出 Choice2Seq 诊断基准,用序列构造保持率(SCR)衡量模型选对答案后能否通过局部决策序列正确构造出该答案。Jev 在算术和词法检索上的选择准确率达 97.1% 和 99.5%,但串行构造下正确率仅保留 33.0% 和 2.1%;StartLux 与 Qwen 也存在明显差距。限制局部候选字符可改进构造,显式位置索引可提升复制保真度。
研究者提出 MP-MNCA,一种保留完整 3000 维高变基因表示、并将组织学相似度作为连续注意力先验的掩码邻居交叉注意力框架,用于空间转录组学的空间域识别。在 12 个人类背外侧前额叶皮层(DLPFC)切片上,MP-MNCA 以更少训练轮数达到连贯空间域结构,平均峰值 refined ARI 为 0.546(最强基线 STAIG 为 0.549),平均 refined NMI 达 0.657(STAIG 为 0.640),并在 12 切片中 7 个的 ARI、11 个的 NMI 上胜出。
研究者提出智能体图像生成框架 GenRevisit,将动作选择扩展为联合选择续接状态与编辑动作,使智能体可回访历史图像候选而非固定从最新图像继续优化。训练采用 SFT 加智能体强化学习,并提出 NACA 改进 GRPO 的粗粒度信用分配。在 GenEval2 上,GenRevisit 结合 Qwen-Image-2512 与 Z-Image-Turbo 分别取得 GM 分数 84.3 和 74.4,超过同生成器最强基线 12.7 和 10.9 分,并在 GenEval、GenEval++ 与 GenEval2 上达到 SOTA。
GUIDE 框架(Generalized Unified Intervention for Dynamic Exchanges)让 LLM 从 432 段多方对话中离线自学习通用主持策略,并以与人类标注对齐的 LLM judge 迭代优化。自学习的通用主持者在留出对话上对三个任务专家主持者取得 61.4% 胜率;实时在线实验中,其保持团队生产力并改善发言舒适度、减少人际摩擦,turns 减少 24.7%、词数减少 29.0%。
AutoNovo 用智能体程序搜索迭代提出、执行、评估并修订核酸设计器代码,以提升跨模型泛化能力。该方法在 3/3 个 DNA 设计任务的 in-silico 性能上取得评估方法中的最佳均值,并在 6/6 个迁移任务上对独立模型表现最佳。发现的设计器来自一个家族而非单一通用最优设计器,作者计划公开发布这些设计器。
该研究提出 steering Hessian 分析语言模型激活导向向量,发现 CAA 构造中仅占平方范数 1-5% 的尖锐方向导致导向失效,在 36 个条件下 53-100% 的测试中出现反向行为。剔除尖锐分量可将方向曲率最高降低 12 倍,在 Qwen2.5-7B、Llama-3.1-8B、Mistral-7B 上验证,该修正方法在全部 25 个开放生成条件中优于标准 CAA。
研究者提出 Heterogeneous Agentic CoEvolution(HACE)框架,通过监督学习改进专用基础模型,同时用 on-policy 强化自训练训练 LLM 智能体,并用进化搜索优化二者的交互方式。在推荐系统、蛋白质功能预测和晶体稳定性预测三个领域,HACE 在主要任务指标上均优于被评测的自改进方法。
研究者开发了一个 1-4 周前瞻的呼吸道住院预测框架,比较直接预测流感、COVID-19 与 RSV 合计住院负担与对单一病原体预测求和两种策略。回顾性评估中,合计负担模型第 1-4 周 PA 为 0.85、0.78、0.74、0.76;前瞻评估中其在全部四个预测期 PA 更高、MAE 更低,第 3 和第 4 周差距最大。结果表明病原体特异性预测用于病因解读,合计负担预测更契合医院共享容量规划。
研究者提出 Dream2Discern,一种面向 LLM 多智能体系统的运行时审计器,通过按自身预测损失选择表示算子扰动生成难潜在变体进行训练,无需额外轨迹采集或结果验证。在 AFTraj-2K 和 StepShield 两个基准上超过竞争性失败审计器,轨迹级加权准确率均超过 90%。
一项 arXiv 研究发现,仅以接收方信念偏移为目标的 RL 说服训练,会使 sender 模型每局使用的不同非对齐策略平均增加超过 25%,每局捏造次数增至 RL 前的 4 倍以上。研究比较了强化策略引导、干净示范、惩罚非对齐策略、提升捏造检测能力等缓解手段,发现最权衡的方案是将对齐说服策略引导与非对齐行为的奖励惩罚相结合,无需干预时此类环境会自然放大非对齐策略。
arXiv 论文提出一套针对 LLM Agent 评测框架可靠性的 Oracle 完整性审计方法,含五条状态完整性不变量和三个已知答案控制,通过注入七类缺陷验证全部可检出且修复后无误报。对某 Agent 基准的审计发现奖励函数会在评分前改变环境状态,4,320 条 episode 的回放修正使 database-pass 标签从 4,194 降至 2,883,测得成功率从 94.3% 降至 65.5%。另发现策略文档、工具描述与工具错误字符串影响测得轨迹可靠性,工具描述的探索性效应最大(-9.2 pp),且第二任务域的语言效应符号反转;审计方法无法验证第二个基准,因其记录的 API 调用日志无法重建参考终态,论文发布了含审计套件与故障注入目录的复现包。
推荐理由:论文给出了一套可检测评测 Oracle 缺陷的审计方法,并实测出奖励函数缺陷把 94.3% 的成功率拉低到 65.5%,方法附带完整复现包。
研究者提出跨协议证据驱动人格评估框架 CEPA,将异步视频面试中的行为表征投射到目标协议的构念导向表征空间,并检索人类评分样本为 LLM 评分器集成提供依据,无需目标协议专属监督。跨协议实验中,CEPA 相比最强基线将平均 MSE 分别降低 43.8%(Forward)和 17.0%(Reverse),表明一个协议的人类评分证据可支持另一协议下的人格评估。
一项音频深度伪造检测研究提出统一框架,包含动态选择潜在维度的 AAFI 模块和 Mel 频谱域定向正则化的 Mel-BAP 策略。基于 Whisper-small 的模型在 ADD 2022、FakeOrReal 和 In-the-Wild 基准上取得平均 EER 1.51% 的 SOTA 成绩,参数量较 30 亿参数的 Resemble-Detect-3B-Omni 减少 91.6%,平均 EER 提升 60.7%。Whisper-base 配置在五个未见语言的跨语言评测中 EER 为 3.91-5.65%。
一项研究用 GPT-4 和 GPT-5 评估大语言模型对不同性别群体心理健康污名的表征。研究 1 发现模型一致将男性描绘为社交距离意愿最高、刻板印象得分较高、求助态度最不利;研究 2 对比 Healthy Minds Study 的 76,406 人数据,发现模型低估 Personal Stigma 和 Perceived Stigma、高估 Self Stigma,性别序位模式仅部分与人类数据一致。
该研究将 LLM 自回归解码的累积预测误差过程证明为鞅,其条件一阶矩恒为零,并给出二阶行为的闭式表达:可预测二次变差等于各步 (1-p(y_t|y_<t)) 之和,仅由已实现的 token 概率即可计算。在 Llama-3.x 与 Qwen2.5(1B 至 72B 参数)上的白盒实验验证了理论预测,为 LLM 生成文本检测与不确定性量化奠定数学基础。
arXiv论文(arXiv:2610.16039)研究多智能体LLM系统的隐私泄露问题,指出信息泄露给一个授权Agent后可经常规协作传播到未授权Agent。在覆盖协调者-工作者、点对点与层级拓扑的485个场景中,拓扑引入的接收者披露率从0%升至52.2%,表面泄露率保持在60.6%-62.8%;框架选择还带来150倍的泄露差异。作者提出按接收者与执行上下文做净化的RECONS方法,将残留披露从无净化的96.7%降至29.25%,保留94.1%的授权披露,检测覆盖率是95.5%残留披露的主要瓶颈。
论文提出 OT-FlowRec,一种最优传输引导的多桥流匹配框架,用于多模态序列推荐,显式建模电商会话中并发的多中心用户兴趣分布。该方法构建并行的兴趣专属传输流,并通过几何传输机制和渐进式时间采样 warmup 策略连接连续分布拟合与 top-k 排序指标。在三个公开数据集上的实验表明其优于现有 SOTA 基线。
研究者提出 Error-Chain-Aware Optimization(ECHO),将责任识别与信用分配分离,用冻结 judge 区分新引入错误、继承后果、遗漏纠正与成功纠正,并对修复自致错误的奖励加以约束。在 4B 与 8B 规模的六个工具使用 benchmark 上,ECHO 在每个规模的六个 benchmark 中五个取得最高分,代码已开源。
Petr Senatorov 在 arXiv 论文 arXiv:2610.15107 中提出 Structural Chain-of-Thought 框架,让模型生成可执行的计算图而非自由文本推理,最终答案由确定性执行计算图得出。训练采用基于图的强化学习,奖励结构有效性、答案正确性及与参考图的节点重合度;在五个基准、四个模型族上准确率持续优于监督式图训练,生成长度相比标准 GRPO 和思维链监督训练最多缩短 5-6 倍,忠实性实验显示模型更倾向从生成的计算图推导答案而非事后合理化。
RegExtract 是一个面向 PFAS(全氟及多氟烷基物质)监管文件的结构化信息提取基准,含 488 个人工标注字段实例,覆盖 20 份美国州级文件和 46 项法规,每个实例含取值和溯源条目共 976 条,代码与数据已开源。实验表明文档识别类字段提取仍具挑战,而字段专属 few-shot 示例可提升效果,为危险物质识别与合规监控的 AI 工具奠定基础。
arXiv 论文 2610.15093 提出 loop engineering 概念,分析 600 条公开编码 Agent 轨迹后发现 98.6% 的输入 token 由前缀缓存提供,平价输入定价平均高估循环成本约 7 倍。轮次数量解释轨迹成本 84% 的方差,而平均观察大小只解释 4%;模型委派在一半评测设置中反而增加成本。作者发布 TurnCost 工具,用于在替换缓存、定价、压缩与路由策略下重算轨迹语料成本。
推荐理由:论文用 600 条轨迹数据指出轮次数量而非观察大小才是编码 Agent 成本主因,并开源了换算不同缓存与定价策略的 TurnCost 工具。
研究者提出 VLCQ,一种无需访问训练数据或微调模型的训练后量化方法,通过变长编码突破定点编码限制,在更低位宽下保持性能。per-channel 量化下相比 FP32 最高压缩 6x(比 PWLQ 高 1.7x),优先压缩时可达 12.25x 压缩且性能损失低于 4%;per-tensor 量化下与 DFQ 相当且更灵活。论文发表于 Future Generation Computer Systems。
研究者提出神经符号论证推理系统 NARS,直接从在线讨论中检测说服力:神经部分用检索增强的迭代 LLM 推理提取双极论证结构,符号部分用渐进论证语义传播论证影响。基于 Webis-CMV-20 构建的 CMV2BAS 数据集已开源;NARS 最佳配置下 F1=0.57、AUC=0.56,超过零样本 Qwen3.6:27B 和 GPT-oss:20B。
研究者提出 Marvo,一种无需标注数据的视觉智能体自我进化方法:由 challenger 从无标注图像生成问答对,solver 通过强化学习在解题中学习工具调用。challenger 引入边际奖励,即 solver 有无工具时的性能差,形成自适应课程,在智能体推理、视觉搜索、数学等基准上平均准确率最高提升 7.1%。
研究者提出 GAMW,一种在 TTS 生成过程中嵌入水印的框架,在波形合成前向生成表征注入内容自适应的 16-bit 多比特水印残差,解码端结合 focal modulation 与动态逐比特加权。在两个 TTS 骨干上的实验显示,相比最强基线,GAMW 在单一扰动和复合扰动下解码准确率分别提升 9.2 和 23.5 个百分点,同时保持语音质量,代码已开源。
该 arXiv 论文在基于共同底座与附加规则的类数独小离散世界中,训练单个深度循环模型研究规则泛化能力,按四种新颖度测试:新谜题、已知规则新组合、从未共现的规则配对、训练中未见的规则实例。规则以符号描述或两个已解示例提供。新组合上描述方式达 99%、示例 95%;对从未共现的规则实例,描述方式低于无信息基线,示例仍高于基线。该框架为评测深度循环推理模型提供了比 ARC-AGI 更系统的替代方案。
该研究提出 Inference on Demand(IoD)抽象,通过类 CAMARA 的 API 在 5G 用户面路径上暴露 split inference 并带内传输感知切分的 tensor context。在基于可编程 UPF 的测试床上用可切分视觉 AI 负载评估表明,自适应切分选择可作为网络侧服务运行,避免静态配置的刚性成本结构。该论文已被 IEEE Future Networks World Forum 2026 录用。
一项研究在统一实验条件下对比 PSPNet、DeepLabV3、UNet 和 UNet++ 四种分割模型在 1269 张牙科X光片上的表现。结果显示 UNet++ 最优,IoU 达 0.6719、DICE 达 0.7869,在图像尺寸 300x300、batch size 16 配置下分割效果最好。研究还分析了不同架构下图像分辨率与 batch size 对性能的影响。