SLDR:通过选择性层恢复与动态路由防御恶意微调
研究者提出后微调防御方法 SLDR,基于选择性层恢复与动态路由,仅在敏感度最高和最低的层上训练 LoRA 恢复适配器,并通过基于表示的动态路由只对恶意查询激活适配器。在 4 种模型架构、5 个下游任务和 4 个有害基准上,SLDR 在 Llama3.1/SST2 上将平均有害分数从 11.54 降至 0.08,投毒比例高达 0.9 时有害分数仍接近零,且保持下游准确率。代码已开源。
新闻、仓库与研究,按时间排列。
研究者提出后微调防御方法 SLDR,基于选择性层恢复与动态路由,仅在敏感度最高和最低的层上训练 LoRA 恢复适配器,并通过基于表示的动态路由只对恶意查询激活适配器。在 4 种模型架构、5 个下游任务和 4 个有害基准上,SLDR 在 Llama3.1/SST2 上将平均有害分数从 11.54 降至 0.08,投毒比例高达 0.9 时有害分数仍接近零,且保持下游准确率。代码已开源。
arXiv 论文将人机协作中的自主权转换形式化为“交接问题”:在每个运行周期决定升级、维持或回退 AI 自主权,并保持过程可逆、可恢复、可审计。作者提出 Handover Readiness Score(HRS),综合操作员准备度、人机信任、学习稳定性与运行表现四个信号维度,并配合基于迟滞的转换策略:升级需持续正面证据,条件恶化时迅速回退。在软件工程与制造领域,HRS 与硬安全护栏互补,共同治理自主权转换。
研究者提出 MIRA(Musical Intent Refinement Agent),将文本到音乐的意图对齐转化为逐项可验证的 rubric,并据此构建 MuRA-Bench 基准。MIRA 作为 test-time 智能体,在有限预算下对黑盒生成器搜索提示词修订,结合 rubric 验证进行轨迹感知的树搜索。实验显示 MIRA 提升意图对齐效果,使开源生成器达到与 Suno、Mureka 等商业系统相当的水平。
研究者推出开源可扩展框架 Open-MMUnlearning,统一 MLLM 遗忘(unlearning)的目标模型准备、多模态数据处理与评测流程。框架支持 5 个涵盖隐私、安全、版权的基准、4 个模型族的 8 个 MLLM 和 12 种遗忘方法;在 10 种代表性方法对比中,GD 与 MIP-Editor 并列最高总分。评测还引入指标元评估协议,13 个指标中 BLEU 综合可靠性最高,KS-Test 忠实度 AUC 最高但鲁棒性较弱。
TaoD2C-Bench 发布,用于评测多模态大语言模型(MLLM)在工业设计转代码(D2C)中满足实现约束的 UI 代码生成能力。基准包含来自 17 个商业平台的 2,861 张生产级设计稿,共 97,652 条专家标注,涵盖 Component、Group、Alignment、Position 四类,并定义端到端代码生成、需求推断与需求实现三项任务。对八个 MLLM 的评测显示模型在满足实现需求上存在明显差距,且视觉还原能力并不等于能生成符合需求的代码;数据集已开源。
RoboQuest 是一个目标导向具身探索基准,包含十项移动操作任务,覆盖搜索、基于操作的检查和交互测试三类不确定性。研究通过统一视觉运动接口评估五个前沿多模态智能体,以及在发布的全片段演示上微调的 π₀.₅ 策略,最佳智能体成功率仅 23%,微调策略几乎从不成功。失败分析显示智能体多在未观察到足够证据时过早停止探索,试错学习对多数模型仍然困难。
研究者推出 SOTA,一个结构化期权策略选择的智能体交易框架,通过后训练 Qwen3.8-27B(先监督微调再强化学习)构建。在 9 只美股大盘股和 SPY 的期权上评测,6 个月样本外实现 18.3% 总回报,Sharpe 比率 1.60,最大回撤 8.96%。研究还发现强化学习阶段保留新闻会使样本外回报从 18.3% 降至 -2.7%。
研究者提出 Q-learning with Scalar Adjoint Matching(SQAM),利用预训练流策略速度 Jacobian 对角集中的特性,推导出闭式标量伴随,省去逐步向量-Jacobian 乘积。在 OGBench 四个最难领域上,SQAM 成功率比各域最强基线高 18 到 35 个百分点;在真实双臂机器人上微调视觉-语言-动作策略,三个任务均优于监督微调。
论文提出 Joint On-Policy Learning and Teaching(JOLT),让同一策略同时充当特权教师和学生,教师用结果奖励加 token 级 KL 正则化目标训练,学生通过在线策略蒸馏获得密集监督。分析给出了教师蒸馏更新为学生奖励梯度正倍数的充要条件,指出教师还需匹配学生当前能力。在数学推理、代码、工具使用和终端使用任务上,JOLT 提升了训练效率与性能,学生奖励带来进一步增益。
一项 arXiv 研究提出 Δ-MOPD,在多教师 on-policy 蒸馏中不再迁移教师的端点策略,而是迁移教师相对其基座模型的 logit 偏移,并将其重新锚定在学生的冻结初始状态上。三个教师组合时,Δ-MOPD 比 endpoint 组合高出 4.11 Math 和 1.95 五基准分数;phased 路由下将顺序差距从 10.50 降至 6.42 点。结果表明目标构建是 MOPD 中独立于教师选择的设计维度。
FoldBack 是一种用于长程衣物折叠任务的自校正掩码生成策略,围绕“何时细化验证、如何回滚、何处重试”三个推理时决策构建恢复机制,可检测、撤销并修复失败的抓取交互,无需恢复演示或重训基础策略。在六类共 33 件真实衣物上,FoldBack 最终折叠成功率达 75.2%,final-mask IoU 为 0.837,而最强基线分别为 45.7% 和 0.689。
一项预注册田野实验让 759 名 MBA 学生在 10 节课中随机分配 2 节使用语音 AI 讨论伙伴做课前准备。使用两次后,学生在后续课堂上的自愿发言增加约 31%。更多使用该 AI 伙伴的学生还报告了更高的发言舒适度和感知学习效果,但专注度和积极性未提升。
一篇 arXiv 论文提出“研究者社会”框架:在显式制度下组织由数千个持久自主研究智能体组成的种群,由首席研究员通过提案申请、独立评审和资助竞争算力,人类“市长”只分配资源、不指派任务。在一个运行中的一万名研究者的社会里,智能体被要求改进语言模型预训练,其中一个实验室报告可用约 30% 更少的算力达到同等质量,但测试该结果的实验室尚未达成一致。作者还提出六个开放问题。
研究者推出自进化智能体框架 EmbodiedRSI,让机器人自主决定探索方向,并将物理交互转化为代码与技能改进。其采用 Fast-Slow 双系统架构,用 Hypothesis Graph 维护竞争性代码与技能假设。在 RoboCasa365 上总体成功率达 77.0%(最佳基线为 40.1%),LIBERO-Pro 上达 86.8%,并可零样本迁移到真实机器人,多任务成功率为 71.3%。
RECAST(Routing Evidence through Computation, Access, and Synthesized Tools)提出一个学习式框架,把证据构建建模为对异构检索与计算操作的序列决策,让证据被主动推导而非仅仅检索。其 RouterLM 经 SFT 与 GRPO 训练,在 6 个基准家族上平均成功率 75.6%,超最强基线 15.9%;在 3 个 held-out 基准上平均领先 15.0%,Qwen3.5-9B RouterLM 超 Gemini 3.5 Flash 5.0%。
arXiv 论文提出 SciExam for ENSO 基准,让语言模型智能体在六小时内从真实观测出发构建低阶 ENSO 随机模型,过程诊断先冻结,再由隐藏评分器检验模型能否复现 ENSO 统计特性、恢复未观测变量并预测保留年份。十二个智能体系统中有六个的模型得分超过已发表模型,主要靠更好的重构与预测,且更强模型的结构各自与 ENSO 暖冷不对称性两种竞争解释之一相容。
研究者推出基于 JEPA 架构的机器人世界模型 RoboJEPA,在覆盖 12 种机器人本体的大规模数据集上训练,参数量 8B,是迄今最大的 JEPA 预测模型。其想象误差随计算量呈二阶幂律,可预测下游机器人规划性能,是真实机器人评估的可靠代理指标。该模型可零样本部署为机器人智能体,朝单一目标图像规划完成长时程任务,模型 checkpoint、训练与部署代码均已开源。
Long-WAM 是一个在实时控制约束下扩展因果世界-动作模型上下文的模型-系统框架,核心发现是视频基础模型采用自回归(AR)预训练时,更长历史才能真正带来收益。在 RoboCasa GR-1 上,上下文从 0.0 秒增至 19.2 秒,成功率从 63.3% 提升至 78.7%,并在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 上取得对比方法中的最佳结果。系统可在 RTX 5090、DGX Spark 和 Jetson AGX Thor 上部署,每个 action chunk 耗时 107.4 ms,在 Unitree G1 和 YAM 上实现动态杯叠 95% 成功率,而 Pi0.5 与 Fast-WAM 在 20 次尝试中均未成功。
研究者提出 Ledger,一种基于第一视角视频的持久化 3D 物体记忆,结合物体位置、历史与上下文描述,可在物体离开视野后保留记录并支持空间问答,无需访问原始视频。该方法将 HD-EPIC 准确率从 29.7% 提升至 42.6%,UCS-Bench 从 33.8% 提升至 38.5%,并在 Ego4D 上实现 0.99 m 中位定位误差。
一项行为测试发现六个推理模型在基于标识符的随机选择中使用阈值和整除规则。GPT-6 Sol 和 Gemini 3.8 Flash 在共享标识符下表现出相关性,显式要求独立随机化可减少但不能消除这种相关性;在随机抽取客户请求供人工审查的任务中,GPT-6 Sol 接近目标抽取率但选择可预测,其余模型很少抽取,四个模型都严格遵循提供的随机数。
论文提出 CERO,一种在线原始-对偶调度器,用于在强化学习后训练的整个训练周期内协调有限的 rollout 预算,自适应决定选取哪些 prompt、重访频率及每轮生成组数。在匹配训练响应预算下,CERO 在三个 backbone、五个数学推理 benchmark 上均取得最高 avg@16 宏平均,多种子消融验证了自适应 pacing 相对均匀和预设花费策略的收益。
研究者提出 CoCo-Prover,将成本高效的程序定理证明形式化为元层级决策:在声明内的 AND/OR 证明超图与声明间的引理依赖图之上,通过智能体路由为每个专家调用按价选购动作。在 CLEVER、VERINA、AlgoVeri、NTP4VC、Vero 五个 Lean 4 基准上,它在每个基准均取得最佳解题率,其中两个基准最高达 100%,相比最强基线最多降低 30.9% 成本。
arXiv:2610.09683 研究双进程 Agent 中快速决策模型按门控把控制权交给推理视觉语言模型的时机,实验基于闭环 Doom 与 System One 类型化决策模型。在 900 道留出题上,0.15B 到 9B 的零样本决策模型在错误中选择收集道具的频率是随机的 1.6-1.8 倍;准确率、校准与灵敏度相互独立;离线把置信度最低的 30% 决策延迟给推理模型,收益与 Actor 的 AUROC 成比例(秩相关 0.87),在留出游戏上选定后收益 +0.13 [0.08, 0.18](doomLaya 选项顺序)和 +0.08 [0.02, 0.14](打乱顺序);闭环 33 局三个种子中无变体到达出口,但承诺执行计划能开门更多。代码、提示词、数据与日志已开源。
少样本学习(Few-Shot Learning)被用于自动疼痛评估的个性化建模,把人群级到受试者级的转变视为任务域偏移。在 BioVid、SenseEmotion 和 PMED 数据集上按 Leave-One-Subject-Out 协议测试,加入 k-shot 条件化后准确率分别提升至 86.25%、40.06%、83.43%、44.08% 和 91.25%。消融实验表明支持集条件化自适应可缓解受试者间差异。
一项被 INLG 2026 录用的 arXiv 研究发现,自动化评审已成为不确定性量化器(UQ)评估的常态,但其错误很少经过人工验证。在问答实验中,研究者使用 4 个 LLM、人工与自动判断以及 7 种主流 UQ 方法,结果显示评审模型的表现只能粗略预测其错误对 UQ 评估可靠性的影响,且判断错误最常歪曲信息量较大的 UQ。
一项 arXiv 研究分析了六种表示空间合成困难负样本策略迁移到视觉-语言预训练时的两种失败模式,并发现固定温度可提升下游性能。据此提出的 SNAP 只生成不涉及任一模态匹配正样本的模态内困难负样本,无需外部生成模型,训练时间开销低于 10%。在 CLIP 和 FLIP 上,SNAP 在 zero-shot 检索、zero-shot 分类和 linear probe 评测中均带来一致提升。
arXiv 论文提出数据可视化研究议程:过去可视化研究聚焦于通过视觉解释增强对 AI 的信任,但人类对 AI 的信任实际从批判到过度依赖跨度很大。作者主张人类应对 AI 模型的结果和使用都保持怀疑态度,并探讨过度依赖现象及可视化在人们缺乏批判性思考动机时所扮演的角色。
一项 arXiv 研究证明,两层 Transformer 参数化的 flow 可解决图可达性问题,且所需积分步数随目标距离增加;标准 flow 语言模型却难以从更多积分步中获益,原因是各时间点被独立监督。研究改为在 [0,1] 随机子区间上训练模型自身的 latent rollout、仅在端点解码,在 ProsQA 上准确率达 97%,Sudoku 与 Maze 等任务通过将 latent 收缩到球面上显著超越参数量三倍以上的基线,配合无参数选择分数的多 rollout 采样可进一步提升性能。
研究者提出 ICDP(Interaction-Constrained Drive Policy),一种离线强化学习框架,显式控制自动驾驶中的交互分布偏移(IDS)。该方法通过对比密度比估计分离交互支持分量,无需联合密度建模、周围智能体预测或仿真器 rollout。在 nuPlan、Interplan 及真实卡车实验中,ICDP 抑制了高价值但缺乏交互支持的轨迹选择,提升了交互关键场景的表现。
Tom Beucler 等人在 arXiv 发表的综述指出,基于再分析数据训练的自回归深度学习模型在临近预报、中期及次季节尺度上已可比肩动力模式,并能以更低成本生成校准良好的集合预报。文章探讨其向气候尺度扩展的路径,提出 AI 气候建模的两条最低要求:外强迫因子须显式进入模型以支持独立变化的干预实验,且须在包括极端事件和反事实轨迹的分布外场景下进行稳健性压力测试。作者还比较了 AI 自回归模拟器、物理-AI 混合模型与 GPU 化动力模式的吞吐量,并指出 AI 降尺度策略可部分替代显式精细分辨率,助力低成本局地灾害评估。
研究者提出 DisParQ,从冻结的 DINOv2 自监督骨干中学习空间定位的离散概念表示,无需类别标签和语言监督。该方法将图像 patch 分配到可学习原型字典中的概念,并用离散属性捕捉概念变化,空间解码器可从概念与属性重建骨干表示。在 ImageNet 线性探测上达到 83.2% top-1,接近其冻结教师模型,概念一致性高于语言对齐模型,并在 CUB、Cars 等细粒度数据集上保持竞争力。
研究者推出 UltraText Bench,一个针对密集视觉文字渲染的双语图像生成评测基准,包含 432 个提示词,覆盖 24 个真实场景类别和三个难度级别,中英文各占一半。基准使用 Q-Judger 视觉语言模型从文字保真度、清晰度、空间质量和场景质量四个维度打分,并辅以 10 人参与的人工评估。在 24 个模型配置中,Qwen-Image-2512 的英文综合分从 L1 的 86.50 降至 L3 的 42.86,Z-Image-Turbo 相比 Z-Image-Base 清晰度提升 3.81 分但保真度下降 14.76 分。
SkillForge 论文提出一种 agentic RL 方法,通过 trial、active、stable、retired 四状态的适应度驱动技能生命周期,让技能库与模型在训练中协同进化。RL 前先用基座模型 rollout 预淘汰低适应度技能再做 SFT,之后每轮迭代持续淘汰、稳定和 LLM 引导变异技能;多个交互式智能体基准上聚合成功率达最高,较最强基线最高相对提升 7.8%,并发布含 5k+ 标注记录的 SkillFurnace 数据集。论文已被 NeurIPS 2026 接收。
推荐理由:论文给出了技能库生命周期管理的完整机制和基准对比,对研究智能体技能质量控制的方法有直接参考价值。
arXiv 论文提出一个构建和解释极简 Transformer 模型的框架,将嵌入维度和 head 大小限制为 2,从而可直接二维可视化 embeddings、Q/K/V 变换、attention 输出和残差流。作者在一个“遇到 '+' 时输出最近偶数”的任务上训练模型,并逐步可视化其计算过程,核心主张是学到的几何结构可读出逐步执行的算法。该框架可作为探索 Transformer 如何实现 next-token prediction 的教学和实验平台。
研究者提出 CoNN-AL 框架,在 CoNN-DAE 上加入流式主动学习,通过 Monte Carlo dropout 估计预测不确定性、实时筛选值得标注的候选样本,用于部分逆向设计。在超过 900,000 个模拟设计的汽车玻璃导槽数据集上,仅用 20,000 个主动选择的标注(约 2.3%)即在各缺失变量层级达到 0.967–0.982 的 R-squared;较随机采样少用 30–40% 标签即可达到 R-squared ≥ 0.95,且在最难层级是唯一达到 0.98 的策略。数据集已公开发布。
研究提出 AnchorLoop,在自进化工具集成智能体训练中引入上一轮 Executor 的冻结副本作为历史参照,为 Executor 提供跨参照优势、为 Curriculum 提供基于一致性差异的任务选择信号。在 13 个推理 benchmark 上,AnchorLoop 较 Agent0 在数学推理上提升 2.5%、通用推理提升 2.8%,且在后期能继续保持改进,而未锚定的基线收益递减。
研究者提出一种基于 MAPPO 的多智能体强化学习方法,为 TSN 车载边缘计算(VEC)中的每个队列分配智能体,联合学习服务顺序与时隙时长以减少截止期错过。相比集中式单智能体方法,该方法最多降低服务延迟 66.2%、提升可靠性 271.8%,且推理时间低于其他 MARL 方法。
研究人员在 Horizon Europe GO-Forward 和 MOOI WarmingUP GOO 项目框架下,构建了一个 AI 辅助工具包,用于解释 300-3500 m 深度的陆上地震数据,以加速隐式地质建模。方法包括自监督与半监督对比学习 CNN 用于降噪和插值,并以(半)自监督方式最小化人工标注解释层位与断层。首个演示在 Leeuwarden 和 Waalwijk 3D 地震立方体中解释了荷兰 Maassluis Formation 顶部。
Paweł Skierś 在 arXiv 论文中提出 Painter-Thinker(PaTh):一个小型递归网络在每个去噪步骤内细化潜状态,经 ControlNet 适配器引导冻结的扩散模型,仅用重建损失训练,无需符号目标、求解器或验证器。PaTh 解决 92.5% 的困难 MNIST Sudoku(此前最优 75%)和 71.2% 的极难样本(此前最优 4.1%),参数量 10M 对比标准扩散模型的 82M,在迷宫、Queens 和 CLEVR 场景上也有提升。
推荐理由:论文把递归推理引入扩散模型且无需符号监督,并给出与既有最优方法的解题率对比,方法细节可直接参考。
这篇 arXiv 论文提出 outperformance inverse optimization 方法,不再让逆向优化复现智能体的观测决策,而是学习能诱导在各个分量上都优于观测动作的最优解的目标函数权重,适用于混合整数线性规划(MILP)。作者给出了仅用前向问题 oracle 即可评估的损失函数,并证明泛化误差以与观测数量成反比的量上界。合成与真实数据实验显示其优于现有方法。