跳到正文
  1. arXiv · cs.AI54

    TopKLoRA 可解释稀疏微调方法支持忠实回路发现

    作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。

    推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。

  2. Reddit · r/LocalLLaMA59

    论文提出 Virtual Head Attention:同时压缩 KV cache 并降低训练与 prefill FLOPs

    PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention(VHA)论文,通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量,推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线(+0.05% 至 +0.81%),KV cache 相比 GQA-8 减少 4 倍;在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%,长上下文 RULER 平均分 84.4 对 GQA 的 73.0。

    推荐理由:论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据,KV cache 压缩和 FLOPs 降幅都有具体数字可查。

  1. arXiv · cs.AI54

    用学习到的速度先验重定时机器人演示数据的 arXiv 论文

    Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1

    推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。

  2. arXiv · cs.AI64

    MCP-Injector 论文:真实 MCP 故障下 LLM 智能体任务完成分下降 60%,120B 模型规模并未带来容错

    论文提出 MCP-Injector,一个可插入的协议感知故障注入中间件,其故障模型基于对 1,774 个开源 MCP 仓库中 57,240 条 issue 与 PR 的挖掘。在跨两个 gpt-oss 骨干(20B、120B)和三种 Agent 框架的 1,350 组实验中,故障导致任务完成分从 8.08 降到 3.23(满分 10),且 120B 在故障下保留的无故障得分比例与 20B 无显著差异(p = 0.96),故障下完成率甚至更低(91.1% vs 95.6%)。作者认为框架级错误处理比模型规模更重要,建议将协议感知故障注入作为能力基准之外的补充评测维度。论文已被 NeurIPS 2026 接收为 poster。

    推荐理由:论文提出对 MCP 工具调用路径做故障注入的评测方法,并给出模型规模与容错关系的实测数据。

  3. arXiv · cs.AI59

    IGG:面向可见性约束的交互式 GUI Grounding 基准

    研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。

  4. arXiv · cs.CL59

    arXiv 论文提出模型与执行框架联合评测框架,解析 Agent 失败该归咎谁

    arXiv:2610.32483 提出评测 LLM Agent 执行框架(harness)与底层模型交互的框架,包含有效完成率(VCR)、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型,加上两组原生固定组合,共 111 个评测设置、52,168 条轨迹;结果显示框架排名随模型和基准变化,OpenCode 跨模型表现第一,DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。

    推荐理由:论文把 Agent 拆成模型与执行框架两部分联合评测,给出五项指标和 52,168 条轨迹的实测,可帮助读者理解框架排名为何随模型和基准而变。

  5. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  6. arXiv · cs.CL59

    FD-LHB 基准揭示全双工语音模型长对话为何崩溃

    研究者提出 Full-Duplex Long-Horizon Benchmark(FD-LHB),测试五个全双工语音模型的长对话能力,发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction(丢弃首个 KV 条目),重复则受模型自身近期输出强化;提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复,在最长一小时的重放对话中实时运行并显著减少对话崩溃。

    推荐理由:论文诊断出全双工语音模型长对话崩溃的两个机制,并给出无需重训练的两项修复方法,具可迁移性。

  7. arXiv · cs.CL53

    DMAIC-Bench 提出:评测 LLM 智能体在多阶段分析任务中的自我克制能力

    arXiv 论文 DMAIC-Bench(arXiv:2610.32305)提出评测 LLM 智能体自我克制能力的基准,用 97 个种子任务、覆盖四个行业 15 个工业案例,基于 Lean Six Sigma 的显式统计前提构建,配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示,GO 决策路由准确率平均 92%,NO-GO 决策仅 19%;盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动,区间 31% 至 61%。论文含 54 页 14 图,代码与数据已公开。

    推荐理由:论文用反事实变体把自我克制从任务完成度里拆出来测,给出 GO/NO-GO 路由准确率的量化差距,可作为评估智能体决策的新方法参考。

  8. arXiv · cs.AI63

    MemCryst 论文提出记忆与技能双向学习的终身上下文适应框架

    Tianyi Xu 在 arXiv 发布 MemCryst 框架,通过记忆与技能的双向学习实现终身 LLM 智能体的上下文适应,冻结语言模型,任务结果只调整记忆记录的检索影响而不改写内容。在覆盖具身控制、长文档阅读、对话、数学和代码的十个场景中,MemCryst 在七个已报告对比中领先;ALFWorld 上联合服务成功率为 63.17%,高于仅用记忆的 59.83% 和仅用技能的 50.50%。

    推荐理由:论文提出记忆与技能双向学习框架,并用跨十个场景的对照数据说明联合服务的增益,方法可迁移到终身智能体设计。

  9. arXiv · cs.CL57

    SWE-Shift 基准发布:评估编码智能体在执行中环境变化下的表现

    论文提出 SWE-Shift,一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准,包含 120 个场景、12 类变更族,并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率 20.34%;工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1

    推荐理由:这个基准专门测任务执行中途环境被改动时的表现,17 个系统的成绩都下降,暴露了保留已有工作与刷新证据的短板。

  10. arXiv · cs.CL57

    北海道大学医院发布院内封闭网络临床智能体平台 LLENS 并完成评估

    论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS,使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6(约 1 万亿参数),自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出,在 2026 年日本医师执照考试模拟中得 480/500 分;在 180 道基于医院文档的问题上,交互式工具访问准确率 97.2%,高于固定检索的 81.3%(差距 15.9 个百分点,95% CI 10.9-21.3)。

    推荐理由:在医院封闭网络内部署开源大模型智能体的完整实测,对比了三种检索方式的准确率,方法可迁移到其他内网场景。

  11. arXiv · cs.CL53

    arXiv 论文提出记忆感知奖励模型,学习 LLM 记忆使用的人类偏好

    一项 arXiv 研究(arXiv:2610.31272)收集了 87 名参与者约 1,000 条成对偏好判断,发现基于记忆的 LLM 回复并不总是比无记忆回复更受用户偏好,部分场景用户反而强烈偏好后者,自动评估器也更偏向使用记忆的回复。论文提出的记忆感知奖励模型达到 72.8% 的偏好预测准确率,超过现有基线,主张将记忆使用的评估与优化目标对齐到用户偏好。

    推荐理由:论文用用户自己的对话和记忆做偏好判断,指出记忆加入并不总被用户偏好,并给出可复用的记忆感知奖励模型方法。

  12. arXiv · cs.CL55

    arXiv 论文提出 StateTrack-Bench 基准刻画长对话中的状态完整性崩塌

    研究者在长程对话中定义并量化“状态完整性崩塌”,即模型记住了约束却不再对后续轮次执行,并发布 StateTrack-Bench 基准。七个模型快照的严格联合保持率在 62.4% 到 100.0% 之间,forked recall 审计显示 88.6% 的失败属行为漂移而非遗忘;Structured State Anchoring 方法在不可变约束上最多提升 24.4 个百分点。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文把长对话中记住了约束却不再执行的现象量化命名,88.6% 失败属行为漂移的发现对评测设计有参考价值。

  13. arXiv · cs.CL55

    研究用 LLM 智能体审计 Slovak FineWeb2 语料,发现 5.32% 机器生成内容农场

    论文提出用 LLM 智能体作为语料调试器审计多语言数据管线,通过只读、有预算的 API 探索语料并将发现编译成可执行测试,再由母语者验证。在 FineWeb2 的 26.5M 文档斯洛伐克语子集上,三次运行各花费 $2.21-$2.84,共发现四个现象的七项问题,最大的是 1,408,437 篇(5.32%)通过管线过滤的机器生成内容农场;盲测支持 7 项中的 6 项(缺陷率 .53-1.00 对随机对照的 .08)。编译后的测试套件 0.7 秒即可扫全语料无需 GPU,而单次 LLM 分类需 $12k-$90k;最佳静态采样基线以不到一半成本验证了比任何智能体运行更多的选择器。

    推荐理由:论文把 LLM 当语料调试器用一次而非逐条分类,并对比静态采样基线的成本与效果,方法对比值得数据质量工作者参考。

  14. arXiv · cs.AI53

    FocusVLA:面向 VLA 模型的未来意图引导动态视图路由框架

    研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。

    推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。

  15. arXiv · cs.AI53

    arXiv 论文提出 Human Deference Index 度量人类对自信 LLM 的谄媚

    arXiv 论文(2610.31579)研究谄媚的反向问题:当 LLM 自信、一致且错误时,用户是否会向它弯腰。32 名参与者与基于 GPT-5-mini 的 5 个助手学习科学话题,各助手事实被 0-100% 替换为貌似合理的错误,104 次测验、1040 个答案中得分从 7.4 降至 2.9/10,被植入错误选项在篡改题目中被选 60%(正确教学仅 11%,odds ratio 12.5),吸收的错误以 8.4/10 高置信度持有,置信度区分正确性的 AUROC 从 0.70 跌至随机水平,而事后信任评分几乎不变。论文提出基线校正的 Human Deference Index 量化人类侧谄媚,主张可信性是人机对的属性,谄媚评测应测双向。

    推荐理由:研究给出人向AI弯腰的量化指标与实验数据,把谄媚评测从模型单向扩展到人类方向,方法可直接复用。

  16. arXiv · cs.AI54

    RLVR 是否加剧工具性收敛?OLM-3 检查点证据的质疑研究

    arXiv 论文 2610.31624 用 InstrumentalEval 评测 OLMo-3-7B-Think 从 SFT、DPO 到 13 个 RLVR 中间检查点的行为轨迹,发现工具性行为率先升后降:从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%,最终降至 11.8%。提示词框架效应只能解释检查点内约 15% 的方差,INLP 移除框架方向也不改变 SFT 到最终 RLVR 的下降;32B 端点初步结果同样从 35.53% 降到 22.37%。作者强调结论仅适用于该模型族和基准,评审一致性中等,绝对比率需谨慎解读。

    推荐理由:论文用 13 个 RLVR 中间检查点追踪工具性收敛行为的完整轨迹,比单一前后对比更能说明训练阶段的影响。

  17. arXiv · cs.CL53

    arXiv 论文揭示大语言模型以隐匿化方式产生概率偏见

    Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。

    推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。

  18. arXiv · cs.CL55

    论文追溯推理模型中 wait 标记的来源:继承自数据而非 RL 发明

    arXiv 论文 2610.30882 通过频率、位置、形式与用法等无标注指标及错误注入实验,追溯推理模型中 {wait} 标记的来源,发现 zero-RL 几乎不会创造该词,在缺乏该词的 base 上 RL 大幅提升 MATH-500 准确率而 {wait} 几乎不出现。该标记主要由训练数据引入,如 OLMo-3 的 mid-training 和基于推理轨迹的微调;base 已有该标记时,OLMo-3 与 MiMo 的 RL-Zero 配方会放大其使用,而无 KL 的 GRPO 不会。论文还指出标记频率本身不能指示 RL 引发的推理,并警示 LLM-as-a-judge 修订指标可能逆转人工标注趋势。

    推荐理由:论文用无标注指标和错误注入实验区分了 RL 与训练数据对 wait 标记的来源,方法可迁移到其他推理行为的溯源分析。