ColaBench:评估个人智能体中记忆引导的知识获取
研究者提出个人智能体基准 ColaBench,覆盖健康与日常生活场景,包含 349 个任务、10 个 Profiles 和 13,033 篇文档的知识库,通过 Evidence Graph 将个人状况与公开交互记录及文档证据关联。配套方法 MemKB 利用状态摘要、规则应用和记忆-文档链接检索知识,达到 86.25% Accuracy,平均每任务 4.07 轮交互。错误分析发现无依据的个人假设和规则误用是主要障碍。
新闻、仓库与研究,按时间排列。
研究者提出个人智能体基准 ColaBench,覆盖健康与日常生活场景,包含 349 个任务、10 个 Profiles 和 13,033 篇文档的知识库,通过 Evidence Graph 将个人状况与公开交互记录及文档证据关联。配套方法 MemKB 利用状态摘要、规则应用和记忆-文档链接检索知识,达到 86.25% Accuracy,平均每任务 4.07 轮交互。错误分析发现无依据的个人假设和规则误用是主要障碍。
一项 arXiv 研究针对生成式 AI 助手中植入广告的机制设计问题,提出名为 click thinning 的方法:随机省略广告,使每条广告的点击概率不再依赖广告排序,从而在竞价前答案及顺序已固定的情况下同时实现期望真实性与福利保障。该机制计算高效,在自由重排下可达到最优福利(广告商总点击价值)的一半,搭配 VCG 式付款使真实报价成为期望最优策略;当最多展示 K 条广告、每条点击率至多 δ 时,近似因子可从 2 改进到 2-(1-δ)^(K-1)。
SecLog-Bench 是一个可扩展的网络安全日志推理评测基准,构建覆盖 29 种攻击场景的仿真平台,结合审计日志、应用日志和网络流量多源证据,并为每个样本标注结构化分步证据链。对 8 个主流 LLM 的评测显示,最佳模型准确率仅 44.44%、Macro-F1 为 45.07%,最高 Stage Reasoning F1 仅 54.87%,表明当前模型攻击进展推理能力有限且推理质量与预测准确率常不一致。
arXiv 论文提出 Agri-SCHOLAR,一个面向农作物的滚动式农时建议框架,每隔几天或一周结合土壤作物属性、已观测天气、短期预报和历史相似年外推,生成个性化建议。系统用多个 LLM 智能体为可操作参数设定农艺合理的边界,优化器在边界内以产量、资源利用和经济可行性多目标奖励搜索,并以 APSIM 等作物模拟器作为评估 oracle。对南亚两个地点 11 年的玉米分析显示,Agri-SCHOLAR 持续优于当地标准种植方案。
研究者提出 RoSA,一个显著性感知微调框架,用于缓解长文本图文对齐中的「显著性坍缩」问题,即模型过度依赖视觉显著的文本而忽视非显著上下文。RoSA 将图文对分解为互补的显著与上下文视图,结合目标级视觉显著性估计与基于 LLM 的文本分解,并用辅助目标显式对齐两视图。该方法在多个 benchmark 上提升长文本检索性能,辅助目标即插即用,可为现有调优方法带来一致增益,代码与 checkpoints 已开源。
arXiv 论文提出评估人工智慧(AW)的基于轨迹的测量框架,将其行为化定义为对判断的情境敏感调节,并用九组件画像、两项转换指标和关键失败报告进行评分。三项简化模拟显示:单准则模拟在每领域 24 个情景时达到精度标准;瓶颈估计在接近平局时存在 0.55 点的下偏;增量预测模拟用 8 和 12 个模型族分别以 .508 和 .742 的概率检测到 0.027 的 Brier 改善。12 模型族目标仍属暂定,画像能否预测超越能力的独立决策结果仍是开放问题。
一项arXiv研究对比了机器人工具路由的四种策略:三种基于ChromaDB的语义检索方法(固定阈值、相对距离、子句感知聚合检索)与一个云端托管的1200亿参数LLM基线。在164条人工标注提示词上,检索方法CDB-v3取得最佳macro-average分数0.7822,LLM基线为0.8869。研究显示大模型路由质量更高,但CDB-v3延迟更低且可本地部署,适合隐私敏感和连接受限的机器人系统。
该研究在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个单文档 LoRA 适配器,发现开卷分数主要衡量所有适配器共享的阅读行为:随机适配器可恢复专家适配器 82% 的开卷优势,但在不提供原文的 cloze 探针上仅约 2%,与零无法区分。内容确实进入权重——专家适配器在 cloze 召回上超出基线 0.094,但 16 篇以上文档的合并只能恢复 12% 到 16% 的 cloze 优势(联合训练为 94%)。作者还报告了四个会产生看似干净却错误结果的隐性错误。
研究者提出 CAKE,一个面向 Ascend NPU 可部署自定义算子的 CANN 原生系统,结合自适应多 DSL 路由、生成与进化双模式及 CAKE Book 知识复用。在 Ascend 950PR 上 53 个 CANN-Bench v1.1 算子测试中,CAKE 标准集用例通过率 100%(1,060/1,060),隐藏集 98.28%(4,167/4,240),相对基线平均 1.334× 加速;Evolution 模式使 EngramGateFusion 聚合设备时间降低 46.6%。
一篇 arXiv 论文提出“算法漂移”概念:生成式 AI 个性化辅导中,人口维度不对称的微小观测误差经反馈循环累积为系统性不公平。作者将其形式化为学习者—辅导者耦合动力系统,用基于 IRT 课程策略的 Monte Carlo 智能体仿真验证,并引入时间公平稳定器(TFS)——周期性重新探测学习者能力。仿真显示 TFS 能缩小通用探索无法消除的成就差距。
研究者提出冲突感知 Logit 适配器 CALA,一种轻量级训练时反知识蒸馏防御方法。该方法在冻结的教师模型上附加小型残差 adapter,仅训练该 adapter,由代理学生模型识别易被模仿的位置并扰动输出分布,同时用正则化保留教师模型性能与流畅度。推理时开销较低且无需辅助模型,推理基准实验显示其显著降低学生模型成功模仿率,同时维持接近原教师模型的表现。
一篇 arXiv 论文提出,内容审核系统的过度拦截与保护不足同源于依据词汇表面形式而非信息功能判断危害,并归纳为七种失败模式。作者提出一套评估协议,在 11 种语言上测试五个开放系统,55 个系统-语言组合中有 51 个无法在母语者水平区分有害功能与无害形式;能力提升在九种语言中改善判别,但阿拉伯语和罗马化印地语仍接近随机,最受益与最不受益语言社区之间的差距随能力扩大。
研究者提出多方向 Perturbation-Rewrite Search(PRS)框架,利用 LLM 自动设计 NP-hard 组合优化问题的启发式算法。PRS 通过扩展、压缩与导向三个方向探索启发式设计空间,并采用带自适应算子控制的广度优先搜索,防止过早收敛。在多类组合优化任务上的实验显示,PRS 能持续发现高质量启发式算法。
一项 arXiv 研究指出,LLM 的 ToM 基准总分混淆了显式 ToM(识别信念)与应用 ToM(用信念预测行为)。在 SimpleToM 上,Llama-3.1-8B 总分 51.5%,但识别心理状态达 99.4%,预测行为仅 28.9%。提出 BSTTT 结合提醒语后,Llama 行为预测提升 40.8 个百分点,其中提醒贡献大部分,BSTTT 额外增加 1.3 至 5.5 个百分点,研究者建议分别报告显式与应用准确率。
SCOPE 将 LLM Agent 的策略编译为可执行程序,由小模型、确定性提取器和代码组合神经谓词,并通过生成对抗性反例联合优化程序与训练数据。在真实策略任务基准上,其平均准确率超过提示词优化、任务分解和工作流生成方法,且用最弱执行器优化的程序可迁移到其他模型,在廉价模型上达到接近前沿推理模型的准确率,预测更稳定且每个判定可通过谓词输出解释。
arXiv 论文提出 Dual Exam 评测框架,在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置,GPT 6 Astra 以 31.3 的 Agent Index 居首;World Model 赛道含 400 个案例、8 个场景,GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零,揭示了任务表现不均与任务相关状态保持失败的问题。
研究者提出 MQAScore,利用大型音频语言模型(LALM)对二元问题的肯定回答概率,沿流派、乐器、情绪主题、人声、用途五个维度逐一验证原子音乐概念。他们还基于存在/缺失标注和 LLM 引导的概念替换构建验证标签,并提出 Sensitivity-Invariance Ratio 衡量评估器对改变语义替换的选择性响应。实验显示概念级评分可提升问答式与相似度式评估器,MQAScore 可作为全局相似度的可靠、可解释细粒度补充。
一项 arXiv 研究指出,成对评测会让同一 prompt 下响应共享的分数成分相互抵消而未被检验。作者提出基于 prompt 间方差占比、兄弟评分回归和 prompt 替换的人类参照审计,测试 18 个已发布评分器与 6 种匹配训练条件;在 HelpSteer2 上,6 个 reward model 的 prompt 间份额为 0.34 到 0.64,而人类评分接近零。研究建议奖励模型评测应分别检验 prompt 间方差、对错误 prompt 的敏感性以及对选择的有用性。
一篇 arXiv 论文提出“语义自扩展”作为开放性智能的数学基础与设计原则。研究借鉴 Kant 与 Gödel,将认知状态建模为形式语言上的部分赋值,并用 Kolmogorov 复杂度证明:任何具有固定状态描述、转移机制与初始条件的架构都无法生成包含不可约算法信息的历史,有限个智能体的耦合也无法消除该界限。论文主张智能应将未解决结构转化为新的意义空间,并依赖保存语义内容与历史坐标的持久外部记忆。
一项研究提出用带启发式函数和游戏状态等价剪枝的 A* 搜索求 Flood-It 谜题的最少步数解,并与 SAT、Integer Programming、Constraint Programming 求解器方法对比。在测试实例中,A* 在约 75% 的实例上最快找到最小解;但随着最小解长度增大、复杂度提高,SAT 方法反超 A*。在判定问题(判断给定长度解是否存在)的对比中 A* 整体表现最好,高复杂度时仍是 SAT 占优,且交叉点更低。
研究者提出 DeepOpen,一个针对 BANKING77 和 CLINC150 数据集分别配置的面向决策的意图分类框架。在 BANKING77 上,经 SAM(sharpness-aware minimization)继续训练的单一英文分类器达到 94.1234% 测试准确率;在 CLINC150 的 150 个 in-scope 类别上,一个 Laya 专家与三个 DeBERTa-v3-large 分类器的概率融合达到 98.0222%。不过统一评估路径下 SAM 均值仅比历史 checkpoint 高 0.0433 个百分点(95% 区间 [-0.2273, +0.3247]),未能确立可靠的准确率提升。
一项 arXiv 研究设计了简单任务,测量多个 LLM 混合在同一多智能体系统中谁对最终共识影响最大。跨七个模型家族的实验发现,其他模型的观点会被参数量更大的强模型吸收,即使任务无需预训练知识也没有正确答案。研究者将智能体建模为单纯形上加权粒子:大模型权重更大、in-context learning 更强,会放大上下文中的多数意见,因此成为“影响者”。
研究者提出一个概念验证工作流,通过 MCP 服务器将 AI 智能体接入基于 COMPAS 的结构建模 API,实现提示词到结构的生成。智能体通过受控建模操作创建和修改由显式建筑构件组成的图结构数据模型,产物可检查、修改、序列化并对接下游 AEC 工作流。经提示词示例和渐进可编辑设计序列演示,这是迈向 AI 辅助结构协同设计的第一步,结果尚属初步。
一篇 arXiv 论文构建了法国最高法院五个民事庭 2016-2025 年 86,464 份判决中的 121,536 对「上诉理由-法院答复」数据集。研究用确定性流程将每对配对并按法国既有分类体系归类,形成揭示哪些理由胜诉、引用哪些法律条文及其十年演变的描述性语法。数据集、代码和交互查询工具均已发布,论文被 JURIX 2026 接收。
论文提出 ProductWebBench 基准,在真实前端仓库上同时评分需求完成与网站连续性,包含 320 个 Change 任务和 80 个 Build 任务。基于 13 个模型共 8,737 次运行,通过全部需求检查的 Change 运行中仍有 28.2% 未通过连续性检查,18.3% 破坏了已验证状态。此外,静态 DOM 通过的运行中有 29.5% 在交互环节失败。
研究者提出一种结合约束推理与大语言模型(LLM)的新方法,为以混合整数规划(MIP)编码的优化决策支持系统生成对比性解释。约束推理先提取约束间语义与关系的「推理图」,再作为输入交给 LLM。真实排程领域的结果显示,该方法让 LLM 生成的自然语言解释包含更多相关理由,同时减少了错误。
SetCommit 是一种免训练的协同并行 token 提交方法,通过平衡 token 可靠性与局部联合提交风险来选择提交集合,并执行预算中性的局部交换以替换脆弱的早期提交。在 LLaDA-8B 和 Dream-7B 上的 GSM8K、MATH-500、MBPP、HumanEval 实验显示,32 次模型评估下准确率/pass@1 较原生解码最高提升 7.4 个百分点,几何平均增量加速比为 1.44 至 1.74×,代码已开源。
一篇 NeurIPS 2026 工作坊论文提出“事后审计幻象”:离线测试可能无法揭示智能体更新部署后是否安全。作者用匹配的安全与有害生命周期构造可执行审计边界,并给出错误-弃权权衡定理。Post-Audit Mirage benchmark 覆盖授权、调度与共享容量环境,实验表明监控在有利条件下可恢复关键区分,但对稀有群体、小效应或缺失观测可能仍无法判定。
一项 NeurIPS 2026 PriGM 工作坊收录的研究比较了 Transformer、状态空间和混合 Mamba 架构在长上下文问答中的位置偏差:将一份含答案文档在九个干扰文档中移动,Transformer 显示开头优势,而状态空间模型缺乏该优势,两类架构都偏向靠近末尾的证据。结果还显示有效上下文利用受架构族、模型能力、任务和提示词影响,无法将序列混频器单独确定为唯一原因。
研究者提出一种 codebook-free 方法,在 Fisher Kernel 框架内编码多尺度 CNN 特征的二阶信息,用于缺乏几何不变性的图像聚合。该向量的判别力在 INRIA Holidays 和 UKBench 两个困难基准上得到验证,检索精度较 state-of-the-art 显著提升,维度仅略微增加。
卢森堡大学博士论文提出 PriMa-Causa 框架,将因果推理嵌入处方性维护,按干预效应而非关联预测对维护动作排序。系统由因果推理层、提供干预真值的参数化模拟器、以及在合成产线先验上预训练一次的图条件表格因果基础模型组成,一次前向传播即可回答干预查询。其处方误差低于关联性基线,在弱重叠和稀疏上下文下优势最大,部分披露因果图可进一步降低误差。
arXiv 论文提出一种匹配协议,将工具增强问答评测拆分为答案读出、推理、调用决策、工具返回和无调用报告五个步骤,以检验工具是否让模型对比更稳定。在五个领域、五种问法下测试六个开源模型后发现,工具在程序可作答的场景提升准确率,但会扩大许多两两对比的措辞敏感性,其程度随模型调用频率变化。作者建议在准确率之外同时报告调用频率和多措辞下的对比稳定性。
一项 arXiv 研究将四个 LLM 的策略置于全连接、随机正则和异质网络上,用 10³ 到 10⁵ 个智能体玩命名游戏。最稀疏的网络可使共识形成最慢慢至十二倍,但也让部分混合交互下不收敛的情况恢复共识。攻击所需的临界智能体数量按枢纽、随机、低度节点递增,在异质拓扑上中位数分别为 3%、16% 和 35%,混合交互估计可能高估多智能体 AI 系统的鲁棒性。
一项多语言研究发现,LLM-as-a-Judge 评估中的提示策略不可跨模型迁移:评测模型的选择比提示策略的选择影响更大,同一策略在不同 judge 上效果方向会反转,且低资源语言下稳定性下降。研究测试了 9 种提示策略、4 个开源 judge 模型、27 种语言、4 个任务共 13 个数据集,产出超 100 万条基于标准答案的点对评分,并经人类判断验证。研究建议提示策略应针对具体评估场景验证,跨研究比较需同时考虑 judge 与提示配置。
一项被 EMNLP 2026 Findings 接收的研究通过两阶段框架考察元数据构成如何影响 LLM 生成文物描述。结果显示元数据数量本身不决定生成行为,字段类型决定模型是接地、省略还是推断信息,而图像既能支持视觉接地也会增加无依据解读。研究主张 data-to-text 评估应考察字段与论断级支持,而非仅看输入覆盖率或参考相似度。
一项 arXiv 预印本研究发现,扩散语言模型(DLM)的量化敏感性随任务和去噪时间步而变化,且这种模式无需真实标签或任务专属评测指标即可预测。作者据此提出 T²Quant,一种任务与时间感知的混合精度量化框架,在固定位宽预算下用无标签敏感性信号优化各去噪步骤的激活精度。在 3 个 DLM 和 6 个 benchmark 上的实验显示,同预算下平均准确率最高提升 6.7 个百分点。
Deposon 是一个让多步 LLM 推理可机器复核的散射层研究项目,代码已在 GitHub 开源,MIT 许可,前两条主线 V1(脑图)与 V2(博弈论解释)已发表于 arXiv:2609.09001。推理路径经三通道散射满足 T+R+A=1,逐路径审计偏差 ≤ 2.2e-16。论文还如实报告了负结果:真实基准上该层与 6 关键词规则过滤无法区分(GSM8K 0.87 vs 0.85),三条动力学等价命题在预登记协议下被证伪。
Tajima(Shumei University)公开了预部署评估研究的数据、分析脚本和图表代码,研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析(Study 2)基于日本国家护理考试 2018–2026 年间公开的 90 道题,90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应;修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。
mohameddhameem 开源 Custom-LLM-Router,在 HotpotQA(distractor 设置)上测试成本感知路由:用 nano-jev v1.0 交叉编码器的证据充分性信号,对比仅用问题的路由器,决定用 small 还是 large 专家(Qwen2.5-0.5B/1.5B/7B/14B 等配置)。项目提供数据准备、路由器训练、F1-vs-cost 评测(AIQ、CPT 50%/80%)、tau 0.5-1.0 扫描与 95% 置信区间 bootstrap,支持 CPU/GPU/vLLM 及 SSH/PBS 集群运行。
Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃。整个工作生成了约 1.8 亿行 Rocq 证明。
推荐理由:把模糊测试转化为规格再生成汇编级形式化证明的完整链路,展示了 Claude 在安全验证领域的可复用做法。