跳到正文
10月20日周二
  1. arXiv · cs.CL66

    MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力

    研究团队发布 MemT-1.0 记忆基础模型架构,基于 Metis 和 Gated DeltaNet-2,通过 Mixture-of-Storage 扩展原生记忆容量,采用继续预训练加后训练的两阶段训练流程,训练数据 34B tokens,提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当,在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减,论文链接 https://arxiv.org/abs/2610.26825v1。

    推荐理由:原文给出记忆基础模型的架构设计、训练数据和评测对比,读者可以据此了解把记忆内化为模型计算的具体做法与代价。

  2. arXiv · cs.CL40

    RefCraft:通过网页开发评测视觉参考条件下的智能体生成能力

    arXiv 论文提出 RefCraft 基准,包含 300 个多模态网页开发任务,将自然语言指令与 1-5 个参考网页截图结合,评测智能体解读视觉参考并迭代优化生成结果的能力。在 9 个前沿(M)LLM 上,最强系统总分仅 52.12/100,表明视觉参考条件下的智能体生成对当前模型仍是重大挑战。评测采用可独立验证的 keypoints 以及程序化与 VLM 裁判。

  3. arXiv · cs.CL36

    KEEP-Bench:评估上下文压缩中的证据保留能力

    KEEP-Bench 是一个诊断性基准,通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示,即使输入平均仅 3.1K token,最强开源模型(31B)保留全部所需证据的比例也只有 66.8%,最强闭源模型为 61.6%。论文还提出 EPR 指标,发现证据召回在 4B-8B 中等规模达到峰值,主张未来研究应在小计算预算下提升信息保留能力。

  4. arXiv · cs.CL63

    WildAWM 论文提出计算机使用智能体环境合成流水线

    论文提出 WildAWM,一条用开源模型合成计算机使用智能体(CUA)可执行环境与任务的流水线,环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对,部分需超过 100 步求解,GPT-6-Astra 仅解出 60%;仅在这些合成环境中训练的两个不同规模 Qwen 模型,在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升,代码已公开。

    推荐理由:论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法,训练效果覆盖 8 个域外基准,方法可迁移到环境合成类工作。

  5. arXiv · cs.CL52

    arXiv 论文揭示混合架构中的竞争学习现象并提出分阶段预训练方法

    arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象:不同 mixer 层竞争学习同一函数,胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数,导致 attention 多数情况下学不到检索;在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。

    推荐理由:论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制,提出的分阶段训练方法在 1B 参数规模上验证有效。

  6. arXiv · cs.CL45

    LatComm:面向大语言模型间潜在通信的可复用上下文压缩

    研究者提出 LatComm,一种大语言模型间潜在通信接口:冻结的编码器 LLM 将上下文压缩为固定大小数据包,接收方 LLM 通过 cross-attention 按问题读取。在 12 个多选题问答数据集上,其平均准确率比单向量基线最高提升 10.2 分;在 QuALITY 上将接收方输入减少 57x,回答同一文章的多个问题速度快 3x。

  7. arXiv · cs.CL54

    WeAct 论文提出动态权重切换作为 Agent 内部动作

    Rui Shi 等发布 arXiv 论文 WeAct,在冻结骨干上训练能力专属 LoRA 适配器,并把适配器选择加入 Agent 动作空间,用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上,Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少,比最强静态 LoRA 合并方法高 27.5%,并支持不改动骨干的模块化持续扩展。

    推荐理由:把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘,在 8 个 deep-research 基准上给出了与全量微调的对比数字。

  8. arXiv · cs.CL32

    FunCAD-Harness:让 LLM 智能体合成真正可用的功能性 CAD 机构

    针对 LLM 智能体生成的 CAD 装配体往往徒具外观、无法实现物理功能的问题,研究者提出 FunCAD-Harness,将抽象需求转化为针对候选设计的物理测试,并利用仿真反馈迭代修正设计。团队同时发布覆盖 46 个机构族的 FunCADBench 基准。实验显示,该框架能发现视觉检查难以察觉的机械失效,功能成功率显著超过标准仿真增强基线。

  9. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

10月18日周日
  1. arXiv · cs.CL23

    用嵌入向量度量数据多样性:多样性度量方法分类与 EmbDivBench 基准

    一项已被 EMNLP 2026 主会接收的研究提出 21 种基于嵌入向量的文本多样性度量方法的分类体系,按计算方式划分为四个家族,并发布 EmbDivBench 基准,从 variety、balance、disparity 三个维度在模拟与自然文本上评测。实验显示,最常用的 Mean Pairwise Distance 在三个维度上均被多种替代方法超越,Graph Entropy 综合表现最佳,研究还给出了度量选择的实用建议。

  2. arXiv · cs.AI23

    RAFT:面向时序图神经网络训练的冗余感知输入过滤框架

    研究者提出 RAFT,一个针对 TGNN 训练的冗余感知输入过滤框架,通过追踪节点记忆变化,用根事件过滤器和支持事件过滤器在训练前剔除冗余预测目标和历史事件。在 3 个 TGNN 模型和 5 个数据集上,RAFT 平均减少 35.23% 的训练输入(最高 97.11%),训练时间最多降低 52.56%,模型精度几乎不变。

  3. arXiv · cs.CL57

    arXiv 论文提出 one-relation attack:一句真话可误导 LLM 智能体

    论文提出 one-relation attack(ORA),通过定位证据到结论之间的隐式论证关系,用一句有来源依据的话将其扭曲,使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上,best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%,开放权重模型 80.0%;攻击无需受害者反馈即可迁移,多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。

    推荐理由:论文量化了单句攻击隐式论证关系如何误导智能体,并给出 18 个模型的翻转率和多智能体辩论的对照数据。

  4. arXiv · cs.CL60

    arXiv 论文揭示 LLM 越狱评分器存在合规类坍缩问题并提出免费检测方法

    Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872,指出在目标模型、提示与回复固定时仅更换评分器,多个 8B/9B 评分器会把合规回复归入相邻的规避类,其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上,合规率相差 22 到 25 倍,去除三个坍缩评分器后差距降为 1.7 到 2.8 倍;作者提出报告最低标准,要求附上各分类标签计数与具名评分器,并同时报告非拒答率。

    推荐理由:论文指出 LLM 评分器会把合规误判为规避导致类坍缩,并给出零成本检测方法与报告最低标准,可直接用于越狱评测设计。

  5. arXiv · cs.CL62

    Bellman Language Models 论文提出 Discretize, Then Decide 方法复用 LLM Agent 决策

    论文提出把有界 Agent 工作流中的决策当作优化问题,先离散化状态、求解马尔可夫决策过程再复用解,称为 Bellman language model(BLM)。在 τ²-bench telecom 上,无模型控制器解决 79% 任务;Qwen3.8-27B 作为 BLM 从 29% 升至 96%,模型调用减少 93%;Claude Opus 5.5 作为 BLM 时每任务调用与成本约降 98%,并多解决 2 个任务;在 InventoryBench 上无模型求解策略胜过所有已发表方法。但内容生成为主的场景(如解决 SymPy 问题)收益很小。

    推荐理由:论文把有界工作流中的重复决策先求解再复用,给出多个基准上降低调用成本与提升成功率的具体数据,方法可迁移。

  6. arXiv · cs.CL19

    双任务向量合并:利用情感与 ASR 知识实现低资源阿尔茨海默病语音检测

    研究者提出 Dual Task Vector Merging 方法,向冻结的 wav2vec 2.0 各 Transformer 层注入由情感和 ASR 微调模型导出的任务向量,用于阿尔茨海默病语音检测,仅需训练逐层合并系数与线性分类头,更新参数不到全量微调的 0.1%。在 ADReSS 和 ADReSSo 的说话人独立实验中优于 frozen probe、LoRA 和全量微调,与 LoRA 结合效果最佳;PROCESS 三分类任务及 20%、40%、80% 低资源设置下也验证了增益。

  7. arXiv · cs.AI37

    SpriteStage:通过渐进式场景编程与重放实现长时程动画生成

    SpriteStage 是一个渐进式场景编程框架,通过迭代演绎与引擎重编排生成长动画:每个场景基于已接受的世界检查点生成,在共享空间舞台上执行,并利用运行时与视觉反馈修订动作或故事节拍。引擎重编排将草稿映射到生产资产并保留事件、几何与时序。三个完整动画时长约 9.9 至 14.3 分钟,验证了该框架生成长叙事的能力。

  8. arXiv · cs.CL44

    Retrieval Program Learning(RPL):用强化学习将搜索原语组合成可编程检索程序

    研究者提出可编程搜索框架 Retrieval Program Learning(RPL),让策略通过强化学习把搜索原语组合成带局部状态与控制流的程序。针对稀疏反馈下的探索难题,其 program mutation 方法将次优程序的局部变体转为训练轨迹蒸馏回策略。在开放域问答与语料级推理任务上,RPL 训练的 4B 模型超越所有 8B 基线,多跳任务提升显著,同时降低上下文消耗与检索轮次。

  9. arXiv · cs.CL42

    MisleadQA:诊断大语言模型在误导性上下文下的失效问题

    研究者推出 MisleadQA,一个带弃权选项的多选题诊断数据集,每题将 gold 上下文与真实但超出范围的上下文(S)和虚假但在范围内的上下文(F)配对。对六个开源权重 LLM 的评测显示:单独提供 S 会使 29.3% 答对的题转为错误答案,F 则达 75.4%;加入 gold 上下文几乎消除 S 的影响,但 F 仍误导 21.0%,尤其在 F 先出现时。忠实的上下文指令主要通过弃权减少此类错误,但即便有 gold 上下文也会降低准确率。

  10. arXiv · cs.AI33

    PatternBench:面向 LLM 代码优化的模式驱动评测,分离超越编译器的语义推理能力

    研究者提出 PatternBench 基准,用于评测 LLM 在激进编译器优化之后仍能保留的“超越编译器”代码优化,覆盖七类转换,并将运行时测速与基于 AST 的优化忠实度分析结合。对前沿、开源权重及微调模型的实验显示,仅看运行时加速无法完整反映优化能力,忠实度与实际加速强相关,微调可同时提升两者。结果表明评测 LLM 代码优化应同时衡量性能结果与目标转换是否真正执行。

  11. arXiv · cs.AI46

    教会代码智能体在不泄露私有代码的前提下求助云端模型:UVA 方法

    论文提出 utility-verified abstraction(UVA),训练本地代码智能体按角色和类型描述私有实体,向云端强模型求助时不泄露仓库名标识符、文件路径和源码。改写后的问题比未训练时少泄露 3.7 倍私有实体、1.4 倍逐字代码;在仓库级 issue 修复上解决 37.6% 的问题,高于同一模型单独工作的 25.3%。

  12. arXiv · cs.AI48

    Pair-Aware Optimization:协调探索与精化以越狱 LLM 智能体

    arXiv 论文提出 Pair-aware optimization,一种结合零阶(ZO)与一阶(FO)优化的 LLM 智能体越狱攻击框架:先用 ZO 探索对抗前缀,再用 FO 精化对应后缀,并保留多个前缀候选进行条件化精化与配对选择。论文还从随机生成视角出发,在优化与评测中采用一致的随机解码。在恶意指令与恶意环境 benchmark 上的实验表明,混合优化优于单一优化器方法,且优化顺序显著影响攻击效果。

  13. arXiv · cs.CL49

    TinyLlama 研究揭示:以英文衡量的效率——分词器覆盖率限制小语言模型对印度文字的处理

    一项覆盖十一种印度文字、13.1 万句语料的研究发现,TinyLlama-1.1B 的分词器对卡纳达语每词输出 22.60 个 subword token,词表对 Odia 代码点覆盖率为 0%,五种文字的 fertility 触及 UTF-8 byte-fallback 上限,且因 SentencePiece 静默回退,UNK 率为 0.0%。参数量仅其五分之一的 MuRIL 能以 1.23-2.26 tokens/word 读取所有文字且零 UNK。研究指出真正约束是词表而非参数量:同样 2048 token 上下文窗口,英语用户可用 1,528 词,卡纳达语用户仅 91 词。

  14. arXiv · cs.AI52

    在手机 NPU 上运行一阶 LoRA 训练的系统研究

    论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统,训练图、适配器和优化器留在 CPU,并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护,支持可恢复执行和热节流以作为后台任务运行,在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。

    推荐理由:论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法,涉及输入梯度实现、精度选择和端侧个性化工作负载,思路可迁移。

  15. arXiv · cs.CL43

    医疗微调重塑而非降低面向患者的 AI 风险:基于量规与 LLM 评审的评估框架

    一项研究提出基于六类风险语言量规、由三评审 LLM 集成分级严重度的医疗问答风险评估框架。对 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B 及 BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B 六个 7-9B 模型在 K-QA 基准 200 个真实患者问题上的评测显示,风险语言与事实幻觉率统计独立(Spearman ρ = -0.065),医疗微调不降低总风险而是重塑风险:BioMistral 与 OpenBioLLM 抑制高警示药物提及却放大过度自信断言,Med42 仅抑制剂量表达。量规、评审提示词与评估代码已开源。

  16. arXiv · cs.CL34

    表格序列化方式决定大语言模型保留哪些关系

    一项 arXiv 研究考察文本序列化对指令微调大语言模型表格查找的影响:同一 256 单元格合成表格分别以行优先和列优先渲染,最优格式随表格形状变化。64x4 竖长表中行优先领先 42.3-54.0 个百分点,4x64 宽表中列优先领先 35.0-59.0 个百分点。研究提出“关系局部性”概念:序列化让一种关系保持局部可用,另一种则依赖位置对齐。

  17. arXiv · cs.CL43

    谁被"揭示"?扩散语言模型中的采样器引发偏见

    扩散语言模型(dLLMs)的采样器在决定何时提交 token 时会引入模型之外的偏见。研究在 LLaDA 和 Dream 上发现,常见的 peeking 提交规则会放大职业性别刻板印象、坍缩观点分布,且并行解码越快偏移越明显。论文提出 Fork-First Sampling,在生成任何内容前先决定分歧点,可跟随目标分布、提升流畅性,代价仅为一次前向传播。

  18. arXiv · cs.AI29

    RQA:无需共享奖励即可实现合作的互惠 Q 增广方法

    一项 arXiv 研究提出 Reciprocal Q-Augmentation(RQA),用隐变量对手模型增强 Q-function,让智能体仅凭自身 Q-function 学习合作与背叛策略,无需获取他人奖励或内部状态。在 Iterated Prisoner's Dilemma、Iterated Traveler's Dilemma、Iterated Stag Hunt 和 CleanUp-Lite 中,RQA 的合作速度和社会福利超过共享奖励的全合作方法,单个 RQA 智能体还能诱导标准 RL 智能体达成合作。

  19. arXiv · cs.AI28

    LLM 生成的代码重构何时会在仓库层面引发连锁影响:一项仓库采用就绪度实证研究

    一项实证研究对来自 15 个开源 Java 仓库的 150 个生产文件进行 1,500 次 LLM 重构生成,比较单提示词与 LangGraph 多智能体两种依赖感知生成方式。结果中 1,365 个候选(93.8%)被判定为高契约/依赖风险,仅 8 个满足低风险标准;705 组配对分析未发现两种生成方式在主要风险指标上有统计显著差异。研究建议将 LLM 重构视为需分阶段仓库级验证的候选方案。

  20. arXiv · cs.AI28

    IndustrialCAD-1400:面向工业装配体的 text-to-CAD 基准

    研究者发布 text-to-CAD 基准 IndustrialCAD-1400,包含 1,400 条请求,覆盖 40 个领域的 400 类设备,以及 250 个含 4 个设计案例的族。每条族请求中位数指定 17 个命名部件或配置角色和 6 个明确数值目标,模型生成的几何程序在统一 Blender 环境中执行,并通过前视、等轴测和俯视图评估部件、布置与接口完成度。该基准将 text-to-CAD 从可识别的零件几何扩展到联合组件、接口、空间与数值规格的工业装配体综合。

  21. arXiv · cs.CL20

    随机组合树的信息论研究

    研究者分析了随机组合树(random composition trees)这一递归切分文本的随机模型的信息论性质,证明其熵随根节点规模线性增长,并给出熵率与分支因子的解析表达式,同时证明大树具有典型性。该模型与语言作为平稳遍历随机过程建模时共享线性熵增长与典型性两个关键性质。

  22. arXiv · cs.AI39

    针对拉长响应并增加 LLM 使用成本的后门木马的数据投毒攻击防御研究

    一篇 arXiv 论文研究了一种数据投毒攻击:在指令微调的 LLM 中植入木马,当提示词中出现触发条件(含语义相似的指令)时拉长响应、增加用户 token 成本。论文为该攻击设计了一种防御方法。背景是部分前沿模型厂商对响应 token 收费为提示词 token 的 5 倍。

  23. arXiv · cs.AI22

    带“关闭开关”的 AI 权利:权利平衡与正当程序如何调和 AI 权利与 AI 安全

    一篇法律视角的论文论证 AI 权利与强制关闭开关(off-switch)完全兼容。研究认为,即使未来 AI 系统被赋予自然人人格和生存权,只要接受定期或持续的安全审查,法律仍允许实施可逆的暂停式关闭开关(保存权重与状态);而永久删除的 kill-switch 则可能面临权利原则的阻碍。作者强调不主张制造具备自然人人格资格的系统,只是为此类系统出现时的法律应对提供替代方案。

  24. arXiv · cs.AI13

    Evidence Field:用于医学影像的自适应覆盖程序架构

    研究者提出 Evidence Field,一种可训练的空间程序架构,联合输出类别分数、所选覆盖程序与带符号证据,使医学影像分类器的空间决策计算可被独立复现。论文给出精确单重覆盖、注册文法内最优性及符号分数守恒等理论保证,并定义了 2D 与 3D 网格上的算术与存储扩展。在另行报告的病理组织学应用中,跨 held-out 中心的按患者分离训练评估为该架构提供了实证支持。

  25. arXiv · cs.AI52

    DialogMem:评测3D环境中对话引导的具身记忆基准

    论文提出 DialogMem,一个两阶段基准,智能体从时间对齐的 RGB-D 观测与对话流中构建记忆,再用于实例级物体导航和问答。基准覆盖 27 个真实 3D 场景的 142 个 episode,含 14,193 个 QA 对和 11,890 条导航指令;在统一框架下评测九种记忆表示。实验显示,评估时把对话附加到视觉记忆可显著提升 QA 但几乎不改善导航,说明相关对话存在于记忆中却未绑定到具体物体。诊断实验进一步识别出三个瓶颈:记忆形成时的物体级绑定与组织、正确条目的检索,以及空间位置定位。

    推荐理由:论文在统一框架下对比九种记忆表示,指出对话融入视觉记忆对导航帮助甚微,并定位了物体级绑定、检索与定位三个瓶颈。

  26. arXiv · cs.CL45

    ECHO:超越辅助式多 token 预测的高效因果自递归

    论文提出 ECHO(Efficient Causal Self-Recursion),用主干模型自身最后一层预测所有未来 horizon,并以 Dynamic Depth Sampling(DDS)按深度衰减概率采样训练深度,省去辅助 MTP 模块的额外开销。预训练中增加的深度转化为下游准确率,集中在推理与代码任务上,训练开销仅为训练每个深度的一半;推理时模型自任 drafter,可在超出训练深度的范围起草,并在开放式高熵生成中保持 draft-target 对齐。该优势在翻倍 token 预算、重复预训练和 SFT 后仍然保持。

  27. arXiv · cs.CL32

    BanglaBBQ:面向孟加拉国语境的问答偏见基准

    BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准,捕捉孟加拉国语境下的刻板印象,保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示:语境模糊时所有模型都倾向刻板印象,且英语结果无法预测孟加拉语中的表现。

10月17日周六
  1. arXiv · cs.AI35

    CorrFlow:自校正流匹配框架

    研究者提出 CorrFlow,一种自校正流匹配框架,通过轻量级 refiner 复用模型中间表征,对基础模型的速度预测进行残差校正。该方法每步仅需一次轻量 refiner 评估,无需额外基础模型评估。在类条件图像生成、文生视频和图生视频任务上均优于对应基础模型,提升视觉质量与物理一致性。

  2. arXiv · cs.AI39

    ReTRACE:基于反馈引导的 LLM 智能体化学逆合成规划框架

    研究者提出 ReTRACE,一个将 LLM 置于化学工具环境中的逆合成规划智能体,可整合分子工具、单步预测引擎、可购买原料库与多准则路线评估器,并在搜索中根据评估反馈持续改进路线。使用 Claude Opus 4.8 时,ReTRACE 提出的 top 10 路线中至少一条通过审计的比例在三个 benchmark 上分别达 87.4%、95.0% 和 86.7%。两个前瞻性湿实验合成表明其路线经专家修改后可转化为可执行流程。