冲突感知 Logit 适配器 CALA:面向保持效用的反知识蒸馏训练时防御
研究者提出冲突感知 Logit 适配器 CALA,一种轻量级训练时反知识蒸馏防御方法。该方法在冻结的教师模型上附加小型残差 adapter,仅训练该 adapter,由代理学生模型识别易被模仿的位置并扰动输出分布,同时用正则化保留教师模型性能与流畅度。推理时开销较低且无需辅助模型,推理基准实验显示其显著降低学生模型成功模仿率,同时维持接近原教师模型的表现。
新闻、仓库与研究,按时间排列。
研究者提出冲突感知 Logit 适配器 CALA,一种轻量级训练时反知识蒸馏防御方法。该方法在冻结的教师模型上附加小型残差 adapter,仅训练该 adapter,由代理学生模型识别易被模仿的位置并扰动输出分布,同时用正则化保留教师模型性能与流畅度。推理时开销较低且无需辅助模型,推理基准实验显示其显著降低学生模型成功模仿率,同时维持接近原教师模型的表现。
一篇 arXiv 论文提出,内容审核系统的过度拦截与保护不足同源于依据词汇表面形式而非信息功能判断危害,并归纳为七种失败模式。作者提出一套评估协议,在 11 种语言上测试五个开放系统,55 个系统-语言组合中有 51 个无法在母语者水平区分有害功能与无害形式;能力提升在九种语言中改善判别,但阿拉伯语和罗马化印地语仍接近随机,最受益与最不受益语言社区之间的差距随能力扩大。
研究者提出多方向 Perturbation-Rewrite Search(PRS)框架,利用 LLM 自动设计 NP-hard 组合优化问题的启发式算法。PRS 通过扩展、压缩与导向三个方向探索启发式设计空间,并采用带自适应算子控制的广度优先搜索,防止过早收敛。在多类组合优化任务上的实验显示,PRS 能持续发现高质量启发式算法。
一项 arXiv 研究指出,LLM 的 ToM 基准总分混淆了显式 ToM(识别信念)与应用 ToM(用信念预测行为)。在 SimpleToM 上,Llama-3.1-8B 总分 51.5%,但识别心理状态达 99.4%,预测行为仅 28.9%。提出 BSTTT 结合提醒语后,Llama 行为预测提升 40.8 个百分点,其中提醒贡献大部分,BSTTT 额外增加 1.3 至 5.5 个百分点,研究者建议分别报告显式与应用准确率。
SCOPE 将 LLM Agent 的策略编译为可执行程序,由小模型、确定性提取器和代码组合神经谓词,并通过生成对抗性反例联合优化程序与训练数据。在真实策略任务基准上,其平均准确率超过提示词优化、任务分解和工作流生成方法,且用最弱执行器优化的程序可迁移到其他模型,在廉价模型上达到接近前沿推理模型的准确率,预测更稳定且每个判定可通过谓词输出解释。
arXiv 论文提出 Dual Exam 评测框架,在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置,GPT 6 Astra 以 31.3 的 Agent Index 居首;World Model 赛道含 400 个案例、8 个场景,GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零,揭示了任务表现不均与任务相关状态保持失败的问题。
研究者提出 MQAScore,利用大型音频语言模型(LALM)对二元问题的肯定回答概率,沿流派、乐器、情绪主题、人声、用途五个维度逐一验证原子音乐概念。他们还基于存在/缺失标注和 LLM 引导的概念替换构建验证标签,并提出 Sensitivity-Invariance Ratio 衡量评估器对改变语义替换的选择性响应。实验显示概念级评分可提升问答式与相似度式评估器,MQAScore 可作为全局相似度的可靠、可解释细粒度补充。
一项 arXiv 研究指出,成对评测会让同一 prompt 下响应共享的分数成分相互抵消而未被检验。作者提出基于 prompt 间方差占比、兄弟评分回归和 prompt 替换的人类参照审计,测试 18 个已发布评分器与 6 种匹配训练条件;在 HelpSteer2 上,6 个 reward model 的 prompt 间份额为 0.34 到 0.64,而人类评分接近零。研究建议奖励模型评测应分别检验 prompt 间方差、对错误 prompt 的敏感性以及对选择的有用性。
一篇 arXiv 论文提出“语义自扩展”作为开放性智能的数学基础与设计原则。研究借鉴 Kant 与 Gödel,将认知状态建模为形式语言上的部分赋值,并用 Kolmogorov 复杂度证明:任何具有固定状态描述、转移机制与初始条件的架构都无法生成包含不可约算法信息的历史,有限个智能体的耦合也无法消除该界限。论文主张智能应将未解决结构转化为新的意义空间,并依赖保存语义内容与历史坐标的持久外部记忆。
一项研究提出用带启发式函数和游戏状态等价剪枝的 A* 搜索求 Flood-It 谜题的最少步数解,并与 SAT、Integer Programming、Constraint Programming 求解器方法对比。在测试实例中,A* 在约 75% 的实例上最快找到最小解;但随着最小解长度增大、复杂度提高,SAT 方法反超 A*。在判定问题(判断给定长度解是否存在)的对比中 A* 整体表现最好,高复杂度时仍是 SAT 占优,且交叉点更低。
研究者提出 DeepOpen,一个针对 BANKING77 和 CLINC150 数据集分别配置的面向决策的意图分类框架。在 BANKING77 上,经 SAM(sharpness-aware minimization)继续训练的单一英文分类器达到 94.1234% 测试准确率;在 CLINC150 的 150 个 in-scope 类别上,一个 Laya 专家与三个 DeBERTa-v3-large 分类器的概率融合达到 98.0222%。不过统一评估路径下 SAM 均值仅比历史 checkpoint 高 0.0433 个百分点(95% 区间 [-0.2273, +0.3247]),未能确立可靠的准确率提升。
一项 arXiv 研究设计了简单任务,测量多个 LLM 混合在同一多智能体系统中谁对最终共识影响最大。跨七个模型家族的实验发现,其他模型的观点会被参数量更大的强模型吸收,即使任务无需预训练知识也没有正确答案。研究者将智能体建模为单纯形上加权粒子:大模型权重更大、in-context learning 更强,会放大上下文中的多数意见,因此成为“影响者”。
研究者提出一个概念验证工作流,通过 MCP 服务器将 AI 智能体接入基于 COMPAS 的结构建模 API,实现提示词到结构的生成。智能体通过受控建模操作创建和修改由显式建筑构件组成的图结构数据模型,产物可检查、修改、序列化并对接下游 AEC 工作流。经提示词示例和渐进可编辑设计序列演示,这是迈向 AI 辅助结构协同设计的第一步,结果尚属初步。
一篇 arXiv 论文构建了法国最高法院五个民事庭 2016-2025 年 86,464 份判决中的 121,536 对「上诉理由-法院答复」数据集。研究用确定性流程将每对配对并按法国既有分类体系归类,形成揭示哪些理由胜诉、引用哪些法律条文及其十年演变的描述性语法。数据集、代码和交互查询工具均已发布,论文被 JURIX 2026 接收。
论文提出 ProductWebBench 基准,在真实前端仓库上同时评分需求完成与网站连续性,包含 320 个 Change 任务和 80 个 Build 任务。基于 13 个模型共 8,737 次运行,通过全部需求检查的 Change 运行中仍有 28.2% 未通过连续性检查,18.3% 破坏了已验证状态。此外,静态 DOM 通过的运行中有 29.5% 在交互环节失败。
研究者提出一种结合约束推理与大语言模型(LLM)的新方法,为以混合整数规划(MIP)编码的优化决策支持系统生成对比性解释。约束推理先提取约束间语义与关系的「推理图」,再作为输入交给 LLM。真实排程领域的结果显示,该方法让 LLM 生成的自然语言解释包含更多相关理由,同时减少了错误。
SetCommit 是一种免训练的协同并行 token 提交方法,通过平衡 token 可靠性与局部联合提交风险来选择提交集合,并执行预算中性的局部交换以替换脆弱的早期提交。在 LLaDA-8B 和 Dream-7B 上的 GSM8K、MATH-500、MBPP、HumanEval 实验显示,32 次模型评估下准确率/pass@1 较原生解码最高提升 7.4 个百分点,几何平均增量加速比为 1.44 至 1.74×,代码已开源。
一篇 NeurIPS 2026 工作坊论文提出“事后审计幻象”:离线测试可能无法揭示智能体更新部署后是否安全。作者用匹配的安全与有害生命周期构造可执行审计边界,并给出错误-弃权权衡定理。Post-Audit Mirage benchmark 覆盖授权、调度与共享容量环境,实验表明监控在有利条件下可恢复关键区分,但对稀有群体、小效应或缺失观测可能仍无法判定。
一项 NeurIPS 2026 PriGM 工作坊收录的研究比较了 Transformer、状态空间和混合 Mamba 架构在长上下文问答中的位置偏差:将一份含答案文档在九个干扰文档中移动,Transformer 显示开头优势,而状态空间模型缺乏该优势,两类架构都偏向靠近末尾的证据。结果还显示有效上下文利用受架构族、模型能力、任务和提示词影响,无法将序列混频器单独确定为唯一原因。
研究者提出一种 codebook-free 方法,在 Fisher Kernel 框架内编码多尺度 CNN 特征的二阶信息,用于缺乏几何不变性的图像聚合。该向量的判别力在 INRIA Holidays 和 UKBench 两个困难基准上得到验证,检索精度较 state-of-the-art 显著提升,维度仅略微增加。
卢森堡大学博士论文提出 PriMa-Causa 框架,将因果推理嵌入处方性维护,按干预效应而非关联预测对维护动作排序。系统由因果推理层、提供干预真值的参数化模拟器、以及在合成产线先验上预训练一次的图条件表格因果基础模型组成,一次前向传播即可回答干预查询。其处方误差低于关联性基线,在弱重叠和稀疏上下文下优势最大,部分披露因果图可进一步降低误差。
arXiv 论文提出一种匹配协议,将工具增强问答评测拆分为答案读出、推理、调用决策、工具返回和无调用报告五个步骤,以检验工具是否让模型对比更稳定。在五个领域、五种问法下测试六个开源模型后发现,工具在程序可作答的场景提升准确率,但会扩大许多两两对比的措辞敏感性,其程度随模型调用频率变化。作者建议在准确率之外同时报告调用频率和多措辞下的对比稳定性。
一项 arXiv 研究将四个 LLM 的策略置于全连接、随机正则和异质网络上,用 10³ 到 10⁵ 个智能体玩命名游戏。最稀疏的网络可使共识形成最慢慢至十二倍,但也让部分混合交互下不收敛的情况恢复共识。攻击所需的临界智能体数量按枢纽、随机、低度节点递增,在异质拓扑上中位数分别为 3%、16% 和 35%,混合交互估计可能高估多智能体 AI 系统的鲁棒性。
一项多语言研究发现,LLM-as-a-Judge 评估中的提示策略不可跨模型迁移:评测模型的选择比提示策略的选择影响更大,同一策略在不同 judge 上效果方向会反转,且低资源语言下稳定性下降。研究测试了 9 种提示策略、4 个开源 judge 模型、27 种语言、4 个任务共 13 个数据集,产出超 100 万条基于标准答案的点对评分,并经人类判断验证。研究建议提示策略应针对具体评估场景验证,跨研究比较需同时考虑 judge 与提示配置。
一项被 EMNLP 2026 Findings 接收的研究通过两阶段框架考察元数据构成如何影响 LLM 生成文物描述。结果显示元数据数量本身不决定生成行为,字段类型决定模型是接地、省略还是推断信息,而图像既能支持视觉接地也会增加无依据解读。研究主张 data-to-text 评估应考察字段与论断级支持,而非仅看输入覆盖率或参考相似度。
一项 arXiv 预印本研究发现,扩散语言模型(DLM)的量化敏感性随任务和去噪时间步而变化,且这种模式无需真实标签或任务专属评测指标即可预测。作者据此提出 T²Quant,一种任务与时间感知的混合精度量化框架,在固定位宽预算下用无标签敏感性信号优化各去噪步骤的激活精度。在 3 个 DLM 和 6 个 benchmark 上的实验显示,同预算下平均准确率最高提升 6.7 个百分点。
一项 arXiv 研究评估了三个 LLM 基于部分已知回答预测问卷缺失题项回答的能力,并与最大化 embedding 相似度的简单基线对比,数据来自两项关于自动驾驶或轻型电动车态度的调查。结果显示 LLM 大多优于基线,但随已知回答比例下降,其表现持续变差,在其中一个调查中降至与基线持平,表明其数据增强能力依赖足够的人类数据。
一项基于 BBQ 基准的研究考察了 Qwen3、Gemma-3 和 SmolLM2 在多种规模与量化设置下的社会偏见与弃答行为。结果显示,更大模型问答准确率更高,但偏见无简单缩放趋势,量化影响因配置而异;26 个偏见响应更少的配置中有 20 个同时出现过度弃答增多。研究表明公平性评估需将偏见响应、弃答、提示词形式与选项设计联合考虑。
论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。
论文提出 BiasGuard-D 框架,用来自不同模型族的两个对抗角色交换类型化声明文档、三模型多数投票裁决,并以引用加语义组合不变量验证结果,为 LLM 生成记录提供可审计的溯源链。该方法在 HaluEval QA 上仅改角色设定即从刻板印象迁移到幻觉修复,正确答案恢复率提升 49 个百分点;语义组件能捕获引用检查漏掉的判定,移除迭代循环会使不变量满足率大幅下降。
Uni-Mem 论文提出用端到端在线强化学习训练统一记忆管理器,同时学习记忆构建与检索两项能力。针对联合优化中 GRPO 存在的组间混淆与长轨迹稀疏反馈问题,提出 Stage-Decoupled GRPO 交替优化两个阶段,并引入 Event-Wise Credit Assignment 将反馈定位到具体事件;在 LoCoMo 和 LongMemEval 上优于最强 RL 记忆方法。
arXiv 论文提出 MPIXEL 像素语言模型系列,沿更多语言、更多文字、更大模型容量三条轴扩展多语言预训练,在覆盖 83 种语言的五项任务上评估。结果显示扩展呈局部效应:各轴仅提升新增语言与文字,更大容量可缓解多语言诅咒;对未见文字的迁移随多语言预训练改善但不随扩展继续提升。这些模型在多种文字系统的低资源语言上超过 subword 与字符级基线。
研究者提出开源 RAG 评测框架 LASAGNA,预声明三项假设,在 8 个 benchmark、5K 至 200K 文档规模的语料上测试 450 种配置。结果显示:三项单独预测合计 +47% 收益的检索技术组合后仅带来 +17%;组件收益对检索质量与答案忠实性的影响方向不同,且最优组合随语料规模变化。作者呼吁新 RAG 技术应在完整技术栈中评测,并开源 LASAGNA 简化实验。
一项 arXiv 论文提出 Accept-or-Repair(AoR),一种无需训练的方法,解决大语言模型忽略与自身知识矛盾文本的问题:先检查采样答案是否被文本支持,支持则保留,否则最多做两次对比解码替换。AoR 在反事实文本上比采样提升 12.5 分,普通文本提升 2.3 分,超过八个对比解码与提示词基线。
一项 arXiv 研究提出操作级测量框架,通过基础能力画像与操作画像刻画 LLM 的智能体能力,并定义能力实现差距。在 τ²-Bench 上对十五个模型服务的实验显示,基础画像仅能部分预测智能体操作表现,操作画像可显著改进任务分数预测。作者将开源代码与分析产物。
arXiv 论文提出 ALIAS,用一致标识符重命名(CIR)在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%,但按行为评分后降幅缩小至约 3 和 0 个百分点,说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益,在未见任务上损失 4.9(Qwen)和 1.3(Gemma)个百分点。
Zhipeng Chen 等人在 arXiv 发布 DeepEvolve,一个以未来事件预测为环境的可持续演化智能体系统,通过递归进化引擎把每次预测的推理轨迹转化为能力。在按周更新、以真实世界结果评估的 FutureX 榜单上连续三周排名第一,rating 最高提升 195%;在自建评测中于四个基座 LLM 上进入前三,领先最强基线最多 10.7 Bradley-Terry 分。论文 47 页,标注为进行中的工作。
推荐理由:论文以未来事件预测这一可持续演化的环境为基础研究递归自我改进,FutureX 榜单连续三周第一是可复核的外部结果。
一项 arXiv 研究追溯了大语言模型倾向推荐 AI 相关选项的来源:预训练模型已在 27% 的回复中包含明确的 AI/ML 术语,指令微调版本升至 59%。微调实验显示这一上升并非必然——剔除 7% 的 AI 相关指令数据可使比例下降 14 个百分点;奖励“有帮助”的数据使其上升 9 点,按多样化模拟用户偏好排序的数据使其下降 9 点。提问方式也有影响:要求“最佳”或“现在就做”分别提升 8 和 18 个百分点。
提出搜索动量(search momentum)概念来刻画 RAG 推理过程中查询意图的演化,发现子查询生成倾向于沿既有检索轨迹持续演化。据此提出 MAPS(Macro-Adaptive Parallel Reasoning)框架,保留检索知识与精炼推理状态,并将顺序推理扩展为并行推理以调控检索动量、缓解查询意图漂移。在六个问答 benchmark 上,MAPS 在不同 backbone 模型下均优于代表性 RAG 方法,代码已开源。
一项 arXiv 研究(arXiv:2610.29812)在 SciFact 生物医学声明验证任务上,用 live PubMed API 作为唯一工具,对四种 harness 做受控消融,涵盖 closed-book、以 claim 为 query 的单次检索、ReAct 式自写 PubMed 查询的智能体,以及给定 gold abstracts 的 oracle,使用两种高效 frontier 模型作为固定骨干。
推荐理由:受控消融比较四种 harness,指出检索而非推理是生物医学声明验证智能体的瓶颈,方法可迁移到类似评估设计。