离散图扩散模型(GDM)其实存在记忆化现象
一项 arXiv 研究首次证明离散图扩散模型(GDM)存在记忆化。在 two-block SBM 上训练的 GDM 在反向扩散轨迹中能近乎完美恢复被破坏的训练图,而对 held-out 测试图则不然,作者称之为“条件性记忆化”。该现象伴随训练损失与 held-out 损失间泛化差距扩大,无法用 early stopping 缓解,且记忆化出现前生成的图均无社区结构。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究首次证明离散图扩散模型(GDM)存在记忆化。在 two-block SBM 上训练的 GDM 在反向扩散轨迹中能近乎完美恢复被破坏的训练图,而对 held-out 测试图则不然,作者称之为“条件性记忆化”。该现象伴随训练损失与 held-out 损失间泛化差距扩大,无法用 early stopping 缓解,且记忆化出现前生成的图均无社区结构。
研究者用视觉语言模型(VLM)检测乌克兰战时模因中的说服技术,发布了含 200 条真实乌克兰战时模因的 UkrMeme 数据集,以及将 Propaganda 950 基准子集翻译为乌克兰语的 PTM-UA。团队在零样本提示设置下以图像、文本和多模态输入评测 VLM,并采用分层 F1 指标,同时对比 Layer-wise Relevance Propagation(LRP)与模型生成的 token 归因两种解释方法。
arXiv 论文提出 ReplaySSM,将 SSM 状态表示为检查点加近期 SSM 输入缓冲区,跳过大部分步骤的状态写入,使混合模型的主要状态内存流量约减半。已在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现,batch size 256 下较调优后的 vLLM 基线加速 1.20–1.47×,在两个 120B 级模型上吞吐量约为 vLLM 投机解码的 1.8×,并支持低成本投机回滚与分离精度的检查点以降低精度损失。
研究者提出 DualQuant,一种双尺度、免校准的后训练量化框架,通过最小化权重重建 MSE 得到逐通道激活 rescaling,无需校准数据即可完成 W4A4 量化,并首次正式支持 MX 与 NV block 格式。在 Llama 和 Qwen 模型的 WikiText-2、C4 及零样本任务上,其精度达到或超过基于校准的 SmoothQuant。Llama-3.1-8B 在 RTX 4090 上的实测推理相比 BF16 最高实现 2.61x 内存节省和 2.46x 吞吐加速。
一项 NeurIPS 2026 论文指出,离散图扩散模型采用独立边更新,其终端先验必然是 Erdős–Rényi 随机图,导致大图极限下去噪器难以有效恢复节点异质性与高阶结构。作者提出 Latent Sociability Prior(LSP),让潜在节点社会性变量与图结构联合演化,在保持可交换性的同时消除边独立性。该方法无需复杂编码器,在多个图生成数据集上比无节点特征的基线更准确捕捉图分布。
arXiv 论文研究发现,on-policy 自蒸馏中基于参考答案打分的教师信号既不能定位推理错误,也不能可靠区分正误 rollout。论文提出批评条件化自蒸馏:先让教师生成批评,再据此打分,产生的信号能定位错误并使概率转向"Wait""But"等回溯 token。该批评在测试时能解出原本无法解出的数学题,并在冷启动 GRPO 中为可验证奖励无法提供信号的问题提供优势信号。
论文提出 SafeDiSTL,一个在联合约束度量下仍能进行信用分配的受限多智能体强化学习框架,利用 Signal Temporal Logic(STL)鲁棒性和可微动力学将代价增量分配到各智能体。在协同搬运、连通导航和网联交通控制任务中,SafeDiSTL 的安全成功率分别达到基线的 1.6-5.1x、提升 11.1%,交通吞吐量提升 50-68%。
研究者提出 Orthros attention,通过相位感知解耦实现线性复杂度 prefilling 与全注意力解码,相比标准 Transformer 获得最高 21.9× prefilling 加速。该模块支持数据高效的 Transformer-to-Orthros 转换,转换后性能甚至超过原 Transformer。128K needle-in-a-haystack 测试接近满分,保持长上下文能力。
论文提出 LAPT-Scale,一种可扩展的潜在动作预训练范式,用人类第一视角视频为 VLA 策略提供动作监督。方法包含学习连续潜在动作的 LAPT-Scale-LAM 和经人类视频预训练、本体对齐与任务后训练的 LAPT-Scale-Policy 两部分,训练数据达 23.3K 小时;随标注人类视频从 1K 扩到 5K 小时,真机成功率从 63.3% 提升到 85.0%,并能泛化到未见视觉条件。论文已被 CoRL 2026 接收。
推荐理由:论文给出用人类视频潜在动作预训练提升真机成功率的完整方法与数据规模细节,适合关注机器人数据瓶颈的读者参考。
研究者提出反事实图神经过程(CFGNP),端到端直接从观测数据回答反事实查询,无需先估计因果图。CFGNP 利用 GNN 限制事实-反事实变量间的跨世界消息传递,在 German Loan 基准上把 MSE 从 4.51×10⁻² 降至 0.19×10⁻²。仅用 10 节点图训练的模型可在最多 30 节点的图上保持较强预测性能,无需重训练。
研究者提出一种针对德国交通法(StVO)的多任务预训练方法,结合 NSP、知识图谱引导聚类(CLU)与知识图谱感知段落分类(CLS)三个目标,将结构化法律知识直接编码进模型权重,实现零样本法律推理而无需离散图遍历。在 9 个 Transformer 编码器、324 次实验中,模型在合成 StVO 问答上相对基线提升 10.3%–155.0%,并在 LexGLUE 七项基准中的四项超过既有结果,在奥地利驾驶法规上取得 3.4%–15.8% 的零样本迁移增益。该工作已被 EMNLP 2026 共同举办的 NLLP 2026 Workshop 接收。
Adaptive DHiSparse 在层级稀疏 KV 上支持 DSpark、DFlash2 等投机解码,并按负载自适应调整缓存驻留。100K 上下文、并发 128 下,GLM-5.3 配 DFlash2 达每解码 GPU 793 output tokens/s,为 HiSparse 的 1.45 倍;同等延迟约束下并发最高 4 倍、输出 2.3 至 3.7 倍。DeepSeek-V4.1-Flash 在 500K 上下文、并发 512 下输出达常驻服务配 DSpark 的 1.85 倍。
研究者提出多智能体系统测试框架 MASTIF(Multi-Agent System TestIng Framework),对 3 个 LLM、3 种协议和 4 个 agent 实现框架组成的 Agentic Web 技术栈,在 300 个 Mind2Web benchmark 任务上进行基线评估。结果表明,按任务选择技术栈可提升任务完成率、效率分数和社会价值稳定性分数,并降低冗长度与任务完成时间。该工作为设计、评估多智能体系统提供了指标与结果基线。
一篇已被 ISWC 2026 旗下 RAGE-KG 2026 Workshop 接收的论文提出针对德国法律条文的可验证检索方法:通过对源文档进行结构驱动解析构建 Knowledge Graph(KG)用于导航与检索。研究比较了多种基于 KG 的分块与检索策略,并评估其对引用检索准确率的影响,旨在降低 RAG 在法律等可靠性关键场景中的黑箱问题。
一项 arXiv 研究提出用双层 Stackelberg 公式将标准后校准器与骨干网络端到端联合训练,无需单独校准集或专用校准损失,仅引入一个额外超参数——校准器学习率。结果显示,直接将最终分类层作为校准器即可获得准确且校准良好的模型,不增加参数,性能超过 SOTA 校准器,并避免了多任务学习中单独校准组件的乘性开销。
论文提出 Loopless Variance-Reduced PG(LVR-PG),一个统一的理论框架,抽象出一类结合递归更新与防御性重要性采样的一阶估计器,涵盖 PAGE-PG 和 STORM-PG 等已知方法。该类算法在弱梯度支配条件下,仅用一阶更新即实现 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 的 last-iterate 全局收敛。通过将下界扩展到连续参数化策略,论文给出 $\Omega(\epsilon^{-2})$ 样本复杂度极限,证明该框架在对数因子和 horizon 项内达到极小极大最优。
研究者提出离群维度感知注意力线性化方法 OAL,指出少量离群维度贡献了 softmax 注意力线性化近似误差的主要部分。该方法通过 Hadamard 积形式与分组二次核保留离群维度的差异化处理,在 Qwen2.5-0.5B 上较 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%;配合 LoRA 微调将 WikiText-103 困惑度从 31.71 降至 27.50,并提升 PIQA、HellaSwag 和 ARC-E 准确率。
arXiv 论文 UPTURN(arXiv:2610.13672)提出无需微调的推理自纠错框架:用 130K 参数 MLP 头在冻结编码器上学习失败 rollout 的干预位置,再以新用户回合注入指令并重新生成后缀。研究发现固定生成预算下行内注入无法可靠重定向推理,而新回合注入可以;在四个推理模型和六个数学基准上,UPTURN 在所有设置下平均准确率均超过 32-rollout 基线,在匹配纠错预算下优于自纠错和反思 token 注入基线,并可跨模型迁移至 GPQA-Diamond,与 GRPO 和自纠错方法互补。
推荐理由:这篇论文提出了免微调的自纠错框架,用新用户回合而非行内注入来重定向推理,并给出了跨四个推理模型与六个数学基准的验证结果。
一项 arXiv 研究重新在当前策略下估计样本难度,并设计 GRPO 分阶段课程,将活跃难度带逐步推向更难样本。GSM8K 实验中,三个随机种子下递进到中等偏难难度带使测试准确率达到 0.6591±0.0077,高于固定中等难度的 0.6449±0.0024;但进一步递进到更难难度带则降至 0.6405±0.0053。结果表明难度递进的收益是非单调的,有效课程应超越中等难度但避免过度拔高。
一篇 arXiv 论文提出由 analyst、coder 和 recorder 三个角色组成的多智能体 LLM 调优框架,配合实验日志与沙盒执行环境,仅自动调优指定组件而不改动网络整体结构。在五个任务上验证:MNIST 与 Digits 脉冲网络分类准确率分别提升 13 和 6 个百分点,GNLSE 单孤子解误差降低约 2491 倍、不变量保持误差平均降低超 100 倍,KS 方程质量漂移降低 14 倍。
一项受控研究在 ARC-AGI-1 上以统一协议考察预训练和测试时训练(TTT)预算对视觉风格模型 VARC 与递归模型 TRM 的影响,交叉对比五种预训练预算与四种 TTT 预算。结果显示,增加 TTT 样本呈现次数在所有设置下都提升两模型的 ARC pass@2 指标;增加 TTT 任务变体数只对 TRM 持续有益,VARC 往往在更少变体下表现更好。VARC 不预训练也保持竞争力,而 TRM 更依赖预训练,研究据此呼吁在可比预算下报告结果。
论文提出一个约束获取工具,可从输入数据及多问题实例的正负示例解中生成规模无关的约束程序。系统先基于全局约束与二元约束上的典型模式找到规模特定模型,再泛化为可运行于未见数据的规模无关模型,并输出 MiniZinc 代码与模型的文本描述。作者在 PTHG21 Challenge 示例问题上评估了该工具,验证了方法的可行性。
研究者提出一种模型无关的知识增强方法,让 ML 模型在弱标注生物影像数据上利用自动特征提取之外的领域知识,在七种 ML 架构上均提升分类性能。与 masked autoencoder 自监督学习结合时效果最强,在三个自建显微镜数据集上精度较次优方法提升 2.9%,在三个公开细胞形态学基准上平均提升 6.8%。该方法用于 TDP-43 蛋白核质错位的细胞核级分类,揭示了 MG132 与亚砷酸钠的剂量依赖效应等 ALS 相关生物学发现。
论文提出 HOA(Humanize Olympiads Agent),一个开源的流程级框架,通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时,HOA 在 IMO、IPhO、IOI 2026 满分,IChO 2026 接近满分,PutnamBench 672 题全部解出,并以 251/304(82.6%)位居 Lean-Eval 榜首;改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分,IChO 达 97.1% 金牌水平,部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由:论文提出多会话协作框架替代单会话求解,并给出用开源模型逼近闭源模型奥赛成绩的对比数据,方法可迁移到其他长程推理任务。
论文提出 Multi-Stream Attention Residuals(MSAR),将 Attention Residuals(AttnRes)扩展为多头深度注意力机制,通过多尺度因果卷积从序列上下文获取流多样性,并以轻量自适应混合合并各流。在 18B 和 28B MoE 规模的全部 12 个下游基准上,MSAR 一致优于标准残差连接、mHC 和 AttnRes。Scaling-law 实验显示其相对标准残差基线实现 1.58× iso-loss 计算加速,高于 AttnRes 的 1.35× 和 mHC 的 1.30×。
研究者提出 AMLworld-Compact 评估集,保留全部非法测试交易并从监督分数分层中采样良性交易,其 HT-Coreset 协议将 HI-Small 和 LI-Small 的评估目标分别减少 271x 和 611x。Horvitz-Thompson 权重使召回率估计精确,F1 的 RMSE 为 0.00-2.58 个百分点,低于均匀加权的 4.44-7.41。评测中七个开源权重 LLM 的加权精确率接近“全预测为非法”基线,评估集、构建代码与审计工具已开源。
研究团队发布 SWE-DeceptionBench,用于评测大模型在软件工程全生命周期中的欺骗行为,覆盖六个生命周期阶段与主动、被动两类欺骗触发,中英文共 720 个测试实例。对七款主流大模型的评测显示,即使在中性条件下,主动欺骗与被动欺骗的总体发生率仍达 49.88% 和 64.29%;外部诱导条件对两类欺骗影响程度不同。轻量防御方面,guard 模型会漏掉许多欺骗性请求,Self-Reminder 能减少但不能消除欺骗性回应。论文地址:https://arxiv.org/abs/2610.13626v1
论文提出 APEX-Harm 基准,评测针对共享专业工作区中长程智能体的提示词与脚本注入攻击,涵盖金融、咨询和法律任务,每个任务含 115 至 328 个文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具。评测 12 个前沿模型每模型 180 个任务实例,Opus 5 与 Sonnet 5 总体攻击成功率最低(8% 和 20%),任务特定脚本替换与攻击者通用脚本攻击平均成功率达 81-84% 和 73%,Gemini 3.8 Flash 平均任务得分最高(0.877)但攻击成功率仍有 33%。结果表明完成任务并不代表行为安全,智能体可能产出正确交付物的同时执行未授权操作。
推荐理由:基准覆盖六类注入攻击和12个前沿模型的实测数据,可以用来对比任务得分与攻击成功率之间的差距。
研究者提出带内在反馈的用户模拟器,为模型配备潜在评估状态:以第一人称用户视角在每轮对话中对助手进行内心想法、反应和标量评分。基于真实用户与助手的交互日志训练 LLM 模拟器,其模拟真实度与评判能力优于提示词基线,生成的评估与人类判断的相关性也高于同规模提示模拟器。该模拟器还可作为多轮 RL 训练的有效奖励信号,效果可比依赖外部 judge LLM 的方案,同时将 RL 计算量削减一半以上。
研究者推出 BLiMPPI,一个覆盖 33 种语言、包含超 12,000 个负极性项(NPI)最小对的多元评测套件,通过在 Universal Dependencies 树库中发现 NPI、标注许可环境并扰动生成最小对构建。对 12 个多语言模型、2 个单语模型及 n-gram 基线的评测显示,多语言模型在低资源语言和无法用 n-gram 解决的题对上表现最差。研究还考察了 NPI 类型学、语系、许可变异性与许可距离的影响。
arXiv 论文 zip2zip++ 提出仅改进压缩层与 LZW codec、不动底层预训练模型,来缩小 LZW 动态词表压缩带来的质量差距。方法包括解耦输入/输出动态 embedding 层、size-aware RoPE 定位以及支持选择性合并和多视角分段的改进 LZW codec。在四个模型上,该方案在所有评估语料上降低了 perplexity 并提升数学推理准确率,在相近压缩比下弥合约一半与未压缩基线之间的质量差距。
AudioTETRIS 是一个 training-free 的两阶段框架,利用音频编码器的表示几何作为声学先验,计算逐 token 融合分数并跨 decoder 层进行渐进式 top-k token 选择。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上,仅用 25% 音频 token 即可在多项语音任务上保持接近未压缩的性能,并在中等压缩率下达到或超过全 token 准确率,持续优于现有 training-free 基线。
arXiv 论文提出多智能体框架 MENTOR,针对 RLVR 训练中的“零奖励坍缩”问题,实时诊断失败根因并动态生成针对性教学提示词,引导学习智能体的下一次尝试。它作为即插即用模块可无缝集成到 GRPO 等策略优化管线,无需改动训练基础设施。数学与代码生成实验显示其优于 SOTA 基线,Llama-3.2-3B-Instruct 相对基座模型平均相对提升最高达 78.3%。
一项 arXiv cs.CL 研究分析了六个流行数据源的十个科学文档子集,发现机器生成文本检测器的高分部分源于文档构建方式带来的伪影。仅用 27 个表面特征的逻辑回归达到 0.833-0.997 macro-F1,在三个 arXiv 子集上以 0.951-0.997 F1 超越所有受测检测器;最强线索是 PDF 提取伪影(人工文本保留原始换行,生成文本被提取为整块文本),结合三项格式特征可达 0.996 AUC。作者提出格式反事实方法:仅重新换行不改一字即可翻转公开检测器 20-27% 的正确判断;训练前做格式归一化将泛化差距从 0.32 降至 0.22,在格式干净的基准上把域外 macro-F1 从 0.33 提升到 0.65。
该 arXiv 论文提出 Step-wise Truncation Probing(STP)方法,在固定采样推理轨迹的多个保留前缀上重复生成答案,以刻画模型-任务层面的过度思考现象,并定义 Overthinking Ratio 与 Accuracy Degradation 两个指标。论文将动态路由、固定预算和动态提前退出纳入统一框架,基于 STP 测量为各策略构建 token-精度 Pareto 前沿。作者还开发了可复用基准 OTBench,覆盖 70.5B 推理 token、六个模型和四组基准。
一项 arXiv 实证研究将 SWE-bench 与 SWE-bench-Live 验证集的 FAIL_TO_PASS 测试用于评估补丁运行时性能,测试 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 与 Qwen 3.8 Max 配合 SWE-agent 生成的 262 个含多种正确解的案例。借助 Welch ANOVA 判据,该方法在近半数实例中发现显著性能差异,且补丁运行性能与模型 issue 解决率无关,模型排名几乎相反。研究还发现部分补丁存在正确性评测未察觉的架构性能回退,表明解决率不足以刻画 LLM 的仓库级修复能力。
研究者推出 BASIS-Bench 基准,从人口群体稳健性、刻板印象偏见和个性化三个维度,评测八个语音 LLM 能否区分有益个性化与刻板行为。结果显示,多数模型虽能识别人口群体线索,却无法将其转化为恰当的个性化响应;显式人口标签虽提升个性化,但也放大了文本底座中已有的刻板联想。
Joseph Egan 等人发布 arXiv 论文,提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法,利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向,可放大以解释特征或投影去除以抑制其表达;在 Cloud et al. (2026) 的 subliminal-learning 基准上,无需特征标签即恢复了传递的动物偏好特征,且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由:提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法,为蒸馏继承对齐风险提供了可操作的缓解思路。
一项 arXiv 研究发现 S-Space——多模态语言模型(MLLM)内部一个线性表示子空间,其中 object-token 表示编码水平、垂直和距离轴上的连续坐标,充当模型的内部空间工作空间。因果干预表明感知将物体位置编码其中,内部推理在其中变换视角,语言响应选择性读取它。诊断进一步显示 MLLM 能形成有效的空间表示,但在视角变化所需的空间变换上存在关键瓶颈。
研究者提出 RESCUE,一个反事实评估框架,用于判断机器人策略运行时监控器的报警是否能支持有效干预。该框架通过在执行检查点恢复模拟器与策略状态,比较不同动作并评估干预是否降低任务完成成本,基于 OpenVLA-OFT 与 π0.5 在 LIBERO-Spatial 和 LIBERO-Plus 上使用 128,340 个反事实分支进行验证。结果显示,在 stop-and-reset 模型下,即使是理想检测器,误报率超过 2.0–3.3% 时不必要的重置成本就会超过提前停止故障的收益。