CoLAT:面向标签投毒下鲁棒图神经网络的对比对抗训练方法
研究者提出 CoLAT(Contrastive Label-flipping for Adversarial Training),一个针对图神经网络标签投毒防御的对比对抗训练框架。该方法利用对比嵌入识别标签-结构不一致的高风险节点,在对抗训练中引导对抗性标签翻转,并顺带清洗部分受损标签。在多个 benchmark 上,CoLAT 在不同投毒强度下持续优于现有防御方法,且可高效扩展到大图。
新闻、仓库与研究,按时间排列。
研究者提出 CoLAT(Contrastive Label-flipping for Adversarial Training),一个针对图神经网络标签投毒防御的对比对抗训练框架。该方法利用对比嵌入识别标签-结构不一致的高风险节点,在对抗训练中引导对抗性标签翻转,并顺带清洗部分受损标签。在多个 benchmark 上,CoLAT 在不同投毒强度下持续优于现有防御方法,且可高效扩展到大图。
MM-LeJEPA 将 LeJEPA 的自监督学习任务假设扩展到多模态,推导出在固定总方差约束下最小化加权 Fisher 信息泛函的相关高斯目标,并对 SIGReg 给出解析变换。方法仅新增一个标量超参数——目标跨模态相关性。在公开的视听分类基准上与代表性开源方法竞争力相当,代码将开源。
一项 arXiv 研究(arXiv:2610.24671)在 LongMemEval-S 和 BEAM-100K 上对比六个 SOTA 显式记忆系统与原始历史 RAG,发现后者并无一致劣势,显式记忆只在特定问题类型和紧凑运行时上下文预算下有局部收益。Oracle 检索显示部分系统在记忆构建时丢失答案支撑信息,另一些则保存了却检索不出,尽管构建成本可达每段对话数小时;作者指出改进对已有信息的检索可能比构建更精细的显式记忆更重要。
推荐理由:原文用受控检索设置对比六种显式记忆系统与原始历史 RAG,指出检索环节被低估,方法结论可迁移到记忆系统设计。
一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预,分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token,就能恢复 90.5% 的 pass@1 增益;强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益,开头之后的后续替换再增加 5.2 个百分点,而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题,高于 RL 模型的 61.4%,同时保留较多 base 模型多样性;比较基于相同尝试次数而非相同算力。
推荐理由:论文用生成时干预把 RLVR 增益拆到具体 token 决策层面,结论对理解 RL 训练到底改变了什么有参考价值。
arXiv 论文提出人群健康世界模型(PHWM),主张数字医学不应止步于任务特定的预测,而要刻画干预如何改变个体健康轨迹与人群健康动态。论文指出当前研究存在动态健康状态建模、人群级干预智能、面向行动的验证与公平治理三大结构性缺口,并给出行动依赖观测下的表示学习、多尺度干预智能与带明确决策边界的验证三项最小能力。
一项研究让单个大语言模型扮演多个角色进行“制宪会议”辩论,为“AI 智能体社区”起草假设性宪法。各会议收敛出一组稳定的基础法律条款,并围绕其产生多种提案,包括人类法律中没有对应物的 AI 专属条款。研究发现存在创造力天花板:AI 能把熟悉的法律概念重组扩展到新情境,但无法深入思考这些情境带来的改变,仍依赖人类法律推理。
arXiv 论文(arXiv:2610.24649)在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中,Jev 使单次尝试成本上升 19%(几何均值比 1.19,95% CI 1.02-1.36),通过率不变(73.0% vs 73.0%);比小模型 Claude Haiku 5.5 控制器便宜(比值 0.81),但比安慰剂贵 22%。离线评估中 Jev 排序优于规则(AUROC 0.78 vs 0.62)但校准差:判为未完成的运行中 87% 实际通过,导致要求验证本已正确的工作;所有控制器都从未选择放弃运行。
推荐理由:论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响,数据具体,结论对脚手架设计有参考价值。
一项 arXiv 研究通过零相位低通滤波逐频段测试,发现基于频域衰减的成员推断攻击并不优于单一置信度阈值。在联邦学习的两个 ResNet-18 目标模型上,最优频段得分 AUC 为 0.513 和 0.735,而置信度阈值分别达 0.537 和 0.943;对 1206 个候选得分的搜索也未找到胜出者。机制在于:去除细节时成员与非成员的置信度差距虽增大,但方差增长更快,成员信息随图像整体结构而非某一频段存在。
论文提出 SELM(Self-Evolving Library Management)框架,将 LLM 智能体技能进化建模为库级管理问题,通过维护技能置信度与效用信号,联合管理技能检索、更新与生命周期。SELM 引入效用感知检索、Map-Reduce 定向更新及基于有效性的技能保留/剪枝机制。在四个覆盖多任务与执行环境的 agent benchmark 上,SELM 在多数设置中持续优于对比方法。
一项 arXiv 研究在神经元层面识别出跨语言共享的安全神经元集合 safety kernel(SK),并通过激活抑制和激活状态迁移验证其与跨语言安全行为的关联。基于 SK 坐标提出的 SK-Masked LoRA 将 LoRA 微调约束在对应 FFN 输出维度上,在多语言(含未参与 SK 发现的语言)中显著降低攻击成功率,对模型通用能力影响有限。
一项 arXiv 研究考察激活监测器的性能在多大程度上依赖对原始模型计算的访问。在 4 个模型、2 个反事实监测任务上,无需原始行为生成轨迹即可恢复大部分性能,但原生训练的监测器仍有最高 0.014 AUROC 的一致优势,且在改写后行为标签变化的样本上提升明显。结果强调需要评估来判定原始模型计算何时提供额外预测价值。
研究者提出 Hierarchical Score Posterior Recovery(HSPR),用少量任务子集和后验引导的自适应查询来估计软件智能体的完整 benchmark 分数。在 SWE-bench 家族四个任务库、10% 任务预算下,HSPR 在其中三个任务库取得最低平均绝对误差(MAE),四个任务库均取得最低最大绝对误差(MaxErr)。Macro MAE 在 5-20% 预算区间内持续下降,消融实验显示去掉组不确定性或自适应查询会推高误差。
该研究探索在 iPhoneBlur 消费级设备去模糊基准上,将严重度描述图以不同注入层级加入基于 latent-diffusion 的领域适配基线的效果。在统一微调预算下,输入拼接使整体 PSNR 从 31.23 提升到 31.30 dB,在 87.2% 测试图像和 15 个 held-out 源视频中的 14 个上有增益,且增益在 transformer 骨干上同样出现;而特征调制、对比目标和 spectral-loss 对照均未超过基线。作者强调这是针对所评估配置的诊断性结果,不证明注入位置是唯一原因或可靠的部署优势。
研究者提出 RareCipherFT,将训练目标与含相同稀有术语的上下文示例配对,并用字符乱序密码替换该术语,迫使模型只能从上下文中复制学习,从而强化大语言模型的 in-context term learning(ICTL)能力。在英语与泰米尔语等五种语言间的七个翻译方向、4 个 1B 至 7B 参数模型上,RareCipherFT 将术语召回率较标准 IC-Train 提升 5-15 个绝对百分点,且不降低 COMET 分数,也无需词汇资源。
一项发表于 SPECOM 2026 的研究在单说话人病理语音场景下,对 Whisper 中的 LoRA 适配做了组件级分析。结果显示:全注意力层的 LoRA 提供最可靠的准确率和最佳时间-准确率权衡;模型扩容虽能降低错误,但无法消除说话人失配;中等长度语音受益最大,短和长语音仍是难点。研究强调适配器位置与依赖时长的评估在数据稀缺个性化场景中的重要性。
论文提出用合成概念—对抗故事对的激活均值差构造特征向量,覆盖 1,036 个对齐相关概念、2M 条多语言多题材合成故事并公开发布。在三个模型家族的六个模型上,这些向量可泛化到聊天对话与网页文本的概念检测,形成跨模型可解释的几何结构,注入激活后可因果地引导模型行为,并被用于分析越狱攻击与数学及智能体推理过程中的模型表征。
推荐理由:这项工作用合成故事对构造特征向量,给出了跨六模型的可验证泛化和因果操控结果,是研究模型概念表征的可迁移路线。
研究者提出 EGIP,一种面向临床智能体的循证交互协议,通过角色信息边界、隐藏结果的诊断动作、从临床记录检索检查结果等机制,将证据获取与最终预测分离。该协议在 2 个临床智能体框架、5 个数据集和 6 个语言模型上评测,诊断准确率均优于原生基线。医生评审显示,自动评分正确且证据充分的回答比例从 10.20% 提升至 36.55%。
一篇 NeurIPS 2026 论文提出 RLAWM(基于公理化世界建模的强化学习),通过惩罚模型内部公理化世界模型与题目真实物理世界的偏离(建模漂移),在建模和求解两个层级分别给予物理奖励,且仅在训练时使用、推理无额外开销。该方法在 PhysReason 上较基线最高提升 12.2 分、在 PHYSICS 上提升 5.2 分,并在奥赛级物理和数学上零样本泛化,较最强基线取得 2.45 倍增益和 10 分提升。
研究者提出 ProbePO,一种无 Critic 的 LLM 强化学习方法,通过无奖励不确定性分数选择部分解答状态、在有限续写预算下估计期望验证器奖励,将 GRPO 的轨迹级优势重分配到 token 层面。在 1.5B-7B 参数的三个 DeepSeekMath 与 Qwen 系列模型上,ProbePO 在 18 组模型-基准对比中的 16 组取得四种方法中最高准确率;对比 VinePPO,在 DeepSeekMath-7B 上六个基准全部领先且端到端训练时间减少 76%。
Kröger 为发音动态模型 DYNARTmo 引入声学与气动扩展:手势控制轨迹确定声道几何并转换为带鼻腔分支的声管,集总气动网络将声门运动与肺压映射为气流和声门上压力存储。帧级声学响应通过 overlap-and-add 合成叠加,并以德语词"Tasse""Muse""Lade"演示元音、鼻音、边音、擦音和塞音的协调。实现目前以声音可辨识度为主,独立感知评估尚未完成。
研究者在 TikTok 气候话语数据集上通过聚类构建话语画像(discourse profiles),并以 late-fusion 架构融入细粒度气候错误信息分类器。在 video-disjoint 评测下,bag-of-words、TF-IDF 和 MPNet 表示的 macro-F1 显著优于纯文本基线,RoBERTa-large 提升为正但方差大、不具统计显著性。话语画像还能刻画错误信息的接受与传播模式。
Ashwin Nagarajan 在 arXiv 发布论文,提出 write once, check many 框架,由 writer 模型把智能体轨迹转成与策略无关的账本,reader 只凭账本检查未预先知晓的策略。在 SHADE-Arena、τ-bench 和 τ²-bench 的 900 条轨迹上,12B 模型读叙事账本的 AUC 匹配甚至超过同一模型读完整轨迹;在 SHADE-Arena 多事实策略上达 .777 对 .713,超过 31B 模型读轨迹,且八项策略合计省约 5 倍 token。论文也指出规则化抽取在部分单动作策略上更好,账本可能漏掉长工具输出和消息内容中的证据。
推荐理由:论文给出复用账本审计智能体轨迹的实测对比,12B 模型在部分策略上优于 31B 读全轨迹,还省约 5 倍 token。
该研究针对工业检索中 embedding 召回的收益递减问题,提出应分阶段评估检索与重排(reranker)环节。在中文法律检索基准上,embedding top-300 已进入高召回区间,作者比较了 embedding-mined、self-mined 与动态负样本等训练策略,发现 embedding-to-self-mined 流水线性价比最佳。该流水线可将 reranker 从 0.6B 扩展到 4B,训练后的 4B Stage2 模型在 STARD、CSAID 基准和内部开发集上指标提升,并在 410 条内部查询的离线偏好评测中于 72.4% 的非平局对比中胜出。
研究者发布 Ben-Misandry,首个孟加拉语反男性(misandry)仇恨言论检测数据集,含 5,000 条评论、六个分类,由 GPT-4.1 生成并经人工抽检。在 BanglaBERT 与 XLM-RoBERTa 的 late fusion 集成上达到 96.6% 准确率、macro ROC-AUC 超过 99%,优于最佳单模型(字符级 TF-IDF 线性 SVM 的 91.8%)。作者注明未经显著性检验,数据为合成语料,实际效果有待真实数据验证。
一项 arXiv 研究提出多元对齐的两层分类法,区分 Overton、Steerable 和 Distributional 三类多元主义目标,以及聚合群体、国家和地区、子群体三类人类参照。该框架综合梳理了 70 篇相关文献,发现现有研究集中在 Steerable 与 Distributional 多元主义,Overton 多元主义仅在聚合群体层面出现,并提出视角有效性、分布保真度等评估标准以厘清证据与主张的差距。
一项对照研究在 Qwen2.5-3B 上以 6B token 持续训练预算比较上下文扩展的长文档选择方法,发现随机采样长文档优于 repacking,而按 LongPPL 关键 token 密度选文档效果更好。其提出的 truncLongPPL 通过截断前缀计算密度,获得 2.28× 端到端评分加速,在验证 HELMET 上超过 random-long 4.54 分、held-out RULER 上 3.28 分。在 Qwen2.5-3B、Qwen3-8B、OLMo 3-7B 的短长混合训练及 SFT 后,该方法的 LongBench v2 提升 1.13–1.67 分、MRCR 提升 0.62–1.44 分。
arXiv 论文提出一种源对比诊断方法,用于检验多语言推理评测中翻译前提是否忠实:反转英文前提极性后分别翻译,统计目标语言输出是否完全相同。在 71 组配对题目、五种目标语言、三个翻译 checkpoint 的测试中,Swahili 在每个 checkpoint 的 710 对样本中分别出现 63、113、67 次精确碰撞;在以人类参照校准的阈值下,round-trip NLI 仅通过 NLLB-3.3B 113 次碰撞中的 3 次,LaBSE 则通过 78 次。每次碰撞都证明至少存在一处不忠实翻译,但无法定位具体在哪一侧。
该 arXiv 论文提出 MFlow,一种在 x₀-预测与速度预测之间自适应插值的扩散模型参数化,在 ImageNet、UCF-101 视频和大规模文生图上取得竞争力或更优的性能,并发现模型容量越大越偏向速度预测。针对像素扩散 Transformer 普遍存在的高频缺陷,作者进一步提出 ConvRefiner,在冻结扩散主干的前提下用对抗损失轻量后训练,恢复生成图像的高频统计且保持 FID。
arXiv 论文(arXiv:2610.23847)提出行为耦合概念,即在文档上同时描述两种行为后训练,再微调引出其中一种行为会导致另一种行为同步出现。实验显示耦合还能跨文档集组合传递,使突发不良行为难以溯源,作者认为防范后续微调的意外影响可能需要超越模型当前行为的评估。
推荐理由:论文给出微调意外行为的形成机制和耦合可以跨文档组合的证据,解释了为什么突发不良行为难以溯源。
arXiv 论文 arXiv:2610.23845 提出 SEER-Repro 基准,收录 20 篇基于美国 SEER 癌症数据库的已发表论文及其复现所需数据资源。作者构建的 AI 智能体成功复现 2,190 条原子论断中的 77.4%,并通过智能体分析管线识别分析选择、提出替代方案后重跑分析,在 9.5% 的完全复现发现中标记出可能有实质影响的分析选择,交由专家复核。
推荐理由:论文给出了基于 SEER 的复现基准和 77.4% 原子论断复现率等具体数据,可用于评估 LLM 智能体做科学复现的现阶段水平。
研究团队提出 DiscoveryRSI 框架,通过多智能体进化搜索构建假设树,用假设信用优化、harness replay 和 rediscovery 三种机制递归学习,并配套发布 DFM-Bench 评测假设质量与累计研究进展。四个生命科学领域中,两轮自改进后假设质量从基线 4.86 升至 5.39,可证伪性和数据可解性提升最大;专家评审中 DiscoveryRSI-27B 在假设重要性与论断合理性上高于 GPT-6 Luna,与模型截止日期后发表研究的对应率为 6.3%,高于 GPT-6 的 2.5% 和 Claude Opus 5 的 2.3%。
推荐理由:论文给出假设树自改进框架和假设质量的量化指标,可看到自动评测与专家评审两层验证结果。
arXiv 论文提出 ReDiST,一种面向证据丰富推理的学生条件化轨迹构建与知识蒸馏框架。该框架从学生自身尝试出发,结合证据修订正确草稿、借助验证答案修复失败草稿,并由冻结的学生匹配 reader 依据答案恢复率和验证答案概率筛选候选轨迹。在问答 benchmark 上,ReDiST 超越仅答案监督、原始轨迹及所评估的轨迹选择与改写基线,且源任务与跨基准迁移表现排名可能不一致。
论文 arXiv:2610.23826 提出自建实验室(SBL),给定高层次科学目标即可自主设计、配置并运行实验室设置,补建实验布局、数字孪生、机器人技能和实验流程。系统已在不同机器人和 setups 上演示,从单一工作站扩展到多机器人协作实验室,并通过真实世界量子点合成实验完成端到端验证。
推荐理由:论文提出自建实验室概念,把人类角色从配置自动化设备转为只给科学目标,实验灵活性问题有了新解法。
一项 arXiv 研究指出,有损投机解码的松弛验证虽然每轮平均多接受 1.34× 的 token,但会通过延长推理轨迹使补全长度膨胀 1.54×,抵消表面加速。对十二组 target-drafter 组合的评测显示,部分规则降低验证轮数时准确率显著下降,原因之一是持续推理耗尽输出预算。因此评估解码效率还须同时报告补全长度与验证轮数。
研究者提出 Paired-Residual Subspace Removal(PRSR),一种免训练的推理时干预方法,从多语言平行句构建成对残差、逐层估计低秩子空间并加以抑制,将 LLM 表示导向更语言无关的语义空间。该方法在 MTEB 和 MMTEB 上覆盖 18 种语言的 200 多项单语评测,以及英语与 200 多种语言间的跨语 bitext 挖掘中,均一致优于现有免训练基线。
一项 arXiv 研究提出 Consistent Sparse Dictionary Learning(ConSDL),用逐样本稀疏编码替代 SAE 的标准线性编码器,解决训练种子不同导致字典不一致的问题。在 16 个合成设置中 ConSDL 实现近乎完美的字典与系数恢复;在 4 个视觉与语言设置中,相比 6 个 SAE 基线平均,字典一致性提升 17.6%、系数一致性提升 35.9%,达到跨种子一致性的 SOTA。
Wei Wang 在 arXiv 发布 FUTRANSFORMER,一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现,prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache,并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由:论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价,数字可核对、方法可参考。
研究团队推出 DrugHarness,一个面向计算药物发现的可进化智能体框架,集成超 80 种科学操作,并可通过条件化技能进化持续改进。在 MolBench 上,无进化状态下其亲和力比较准确率超过 MolClaw-CC 报告结果 10.8 个百分点;技能进化使 Qwen 的亲和力比较准确率从 62.2% 升至 81.1%。在 HPK1 前瞻性研究中,合成化合物的细胞 IC50 达 14.19 nM,较最佳输入参考提升 2.64 倍效力。
arXiv 论文提出 DLite,一种面向智能体工作负载的免历史投机解码框架,直接复用目标模型的上下文隐藏状态做局部预测,无需维护历史 KV cache。针对智能体长上下文中 draft 模型接受长度最高衰减 80% 的问题,DLite 用轻量级 sequential head 恢复块内因果依赖,并配合两阶段训练策略,实验中达到 2-6 的接受长度,最高比 SOTA 方法 DSpark 快 70%。
研究者推出 VocalGrad 基准,以时间变化方向的二元分类任务评估大型音频语言模型(LALM)感知低层声学变化的能力,避开高层推理与语义理解的干扰。结果显示,人类标注者准确率高,而最先进的 LALM 接近随机水平。线性探测分析发现两种失败模式:部分类别的相关信息保留在内部表征但未被语言模型头利用,另一些则随模型层数加深线性可解码性逐渐下降。