跳到正文
10月7日周三
  1. arXiv · cs.CL36

    0.6 有多高?可解释性探测中的下限、上限与余量分析

    一项可解释性研究提出用「下限」(简单输入已能预测的水平)和「上限」(完整输入可预测的水平)为 probe 分数建立参照系,两者之差为余量。在 in-context 元分析 transformer 上,分布偏移使 probe 分数下降、预测误差上升 12–15 倍,但模型恢复的余量比例相近,说明是数据丢失信息而非表征受损。研究还发现单细胞基础模型 scGPT 仅部分编码生物变异性,并重审四项关于 LLM 表征地理、Othello 棋局、真值与用户人口特征的 probing 研究:部分结论成立,另一些很大程度上可由输入文本本身解释。

  2. arXiv · cs.CL46

    冻结的 VideoLLM 内部已编码证据就绪信号:arXiv 新研究提出 Readiness Gating 回答时机策略

    一项 arXiv 研究发现,未经修改的冻结视频-语言模型(VideoLLM)内部已线性可读地编码了“证据就绪”信号,该信号以问题为条件且与回答正确与否无关。在 7 个模型上,严格 not-ready 采样下 AUROC 达 0.733-0.905,仅改变问题即可在 66.1% 的字节相同窗口对上反转读出结果。据此提出的 Readiness Gating 回答时机策略在相同视频时长下将准确率最高提升 +9.75 pp,计算开销可忽略。

  3. arXiv · cs.CL32

    偶发信息污染病历笔记并干扰大语言模型的临床推理

    一项 arXiv 研究考察了大语言模型对病历中偶发信息(与就诊无关的闲聊、串入的他人对话)的敏感性。在 576 段对话中,前沿模型将闲聊写入 35% 的笔记,3.7% 的笔记错误归因或临床使用了这些内容;在 57 次模拟问诊中,-10 dB 背景语音泄漏进 48.2% 的转写文本,4 个开源权重模型生成的笔记中 5.3% 出现污染。研究提出双重编码假说,建议临床部署前评估模型对偶发信息的抵抗力。

  4. arXiv · cs.CL21

    生成式 AI 在高风险应急信息翻译中的应用研究

    Anthony Pym 的实验将一份地震应急指令由英文翻译成中文和西班牙文,结果显示使用针对话语类型的提示词可显著提升生成式 AI 译文的可理解性和可操作性,但译者可能仍不信任这些译文。人工修订仍不可少,既要查错,也是出于伦理考虑需要有人为应急信息的错误或延误负责。

  5. arXiv · cs.CL20

    InterCorrect:面向公平 ASR 的交叉群体感知人口统计模型合并校正方法

    研究提出 InterCorrect,一种用于公平 ASR 的人口统计感知模型合并方法:基于 SLAM-ASR 模型仅微调 connector,并将针对特定人群适配的 connector 合并为全局模型,再施加交叉群体特定校正向量。在 Fair-Speech 上,TIES 结合基于 WER 的校正取得最佳整体 WER,从 7.38% 降至 5.13%,但平均 WER 降低并不总意味着子群体差异缩小。

  6. arXiv · cs.CL40

    面向大语言模型的参数内记忆增强综述

    这是一篇关于 LLM 参数内记忆增强的综述,提出用模型参数、adapter 等参数化对象承载可复用记忆,在推理时接入前向计算,以补充 ICL 占用上下文、产生随长度增长编码开销的不足。该工作沿 Parameter Placement(Embedding、Attention、FFN、Hybrid)与 Parameter Acquisition Time(在线/离线)两个正交轴梳理方法,并讨论干扰、安全、与 ICL 协同及递归自我改进等开放方向。

  7. arXiv · cs.CL23

    证据绑定推理:神经语义验证框架在胶质母细胞瘤影像基因组学生物医学 AI 中的应用

    研究者提出一套神经语义验证框架,将 UPenn-GBM 影像组学特征转化为可机检的证据记录与声明,用于验证生物医学 AI 解释是否被患者证据支持。GPT-5.6 Sol 在 24 例试点中复现 72/72 条原子声明,验证器在 6,620 条声明的破坏测试中达到 100% 精确集合准确率;预测 ROC AUC 从 0.899 降至 0.500 时验证准确率仍保持 1.000。结论是可验证性可独立于预测性能进行工程化与评估。

  8. arXiv · cs.CL23

    同数引用交换:压力测试 Jev 作为财务证据裁判

    一项研究用“同数引用交换”评估 Jev 作为 GPT-4.1-mini 计算痕迹的来源支持验证器,测试财务报告中数值相同但角色不同的引用问题。实验固定操作数与算术,在相同数字单元格间移动引用,发现既存在能通过检查的错误角色引用,也存在被扣留的有效替代引用;显式列标签改善部分错误角色判断,却降低部分等价证据的支持度。在 36 个新来源页面上的扩展评估揭示了检测角色错误与保留有效引用之间的同样权衡。

  9. arXiv · cs.CL41

    小语言模型在抽象推理任务上的系统性研究

    一项发表于 arXiv 的系统性研究在 ARC-TGI 基准上考察小语言模型的抽象推理能力,涵盖 decoder-only、encoder-decoder 和 MoE 模型家族,进行了超过 1,000 次运行。结果显示模型在训练分布内可达到较高准确率,但分布外性能急剧下降,即使规则不变、仅网格尺度变化也会退化;技能获取对优化敏感,且在不同任务族间分布不均。研究表明抽象推理分数依赖于模型、适配方式、评测分布和响应格式。

  10. arXiv · cs.CL32

    一致不等于有效:LLM 跨模型共识在 K-12 数学辅导对话学生错误诊断中的有效性研究

    一项针对 K-12 数学辅导对话的探索性研究检验了 LLM 对五种学生失败模式(不确定、错误归因、运算符选择、概念缺口、程序性失误)分类的有效性。结果显示人机一致性仅为中等(kappa = .524-.597),而跨模型一致性明显更高(kappa = .755-.781)。这表明 LLM 间共识会造成正确性的假象,不能替代对学习者解读有效性的独立证据。

  11. arXiv · cs.CL41

    解耦生成式检索中的范式、标识符与解码

    该研究在 NQ320K 和 MS300K 上系统比较自回归、掩码扩散与块扩散生成式检索模型,控制标识符方案、训练预算与解码方式以厘清各因素贡献。解码方式单独使扩散模型 Hit@1 变动 6.6 至 13.7 个百分点;提出的一次打分(one-pass scoring)解码在 12 个设置中的 11 个上持平或超过 generate-and-match。自回归模型 Hit@1 仍领先,且随机标识符可保留 83-90% 的 Hit@1。

  12. arXiv · cs.CL55

    arXiv 论文解析微调中的伪遗忘:共享位移可逆,个体侵蚀才致命

    arXiv:2610.08718 研究微调中语言模型的伪遗忘(spurious forgetting),发现被遗忘的旧知识往往仍存储在模型中且可恢复。作者用最小联想记忆模型复现遗忘动态,指出其依赖共享结构的键、集中新值和网络归一化三个要素:微调使旧表示沿共同方向整体移动,暂时隐藏旧事实但保留其相对几何;新数据只把旧记忆一起移动时遗忘可逆,逐事实改变累积时才造成永久侵蚀。实验显示减去共同位移可消除 Transformer 的崩溃,从权重更新中移除单一方向可在预训练语言模型中恢复旧事实。

    推荐理由:论文把微调遗忘拆成可逆的共同位移和不可逆的个体侵蚀两部分,并给出恢复旧知识的干预方法。

  13. arXiv · cs.CL28

    Holdout Best-of-N:无偏评估及其代价

    复用选择 Best-of-N 胜者的评分会高估其期望奖励。论文证明:仅基于每候选 K 个独立评分的固定矩阵,估计器要在所有独立稳定评分律下恰好无偏,当且仅当 J<K;J=K 时无法无偏,但增加一个新胜者评分即可对全 K 策略做无偏评估。Holdout 在该机制下达到 σ²/√K 量级的无偏 minimax 风险,有偏方法可改进到 σ²/K;两候选情形下无偏 minimax 常数为 1/(π√2)。

  14. arXiv · cs.CL20

    生成式信息检索中语义 ID 空间的系统性研究

    一项发表于 arXiv 的研究系统探讨生成式信息检索(GIR)中什么样的数值 DocID 才有效。作者提出统一 Product Quantization(PQ)与 Residual Quantization(RQ)及其混合变体的框架,并定义一组无需训练的内在指标来量化 DocID 质量,避免昂贵的下游评估。实验在 MS MARCO 300K 和 NQ320K 上分析了层级性、并行性及 DocID 长度、codebook 大小等超参数对检索效果的影响。

  15. arXiv · cs.CL51

    arXiv 论文提出 H-CDLM:用分层连续扩散改进扩散语言模型

    论文提出分层连续扩散语言模型 H-CDLM,通过对 token 及其由预训练嵌入聚类得到的粗粒度簇等多模态并行扩散,以极小计算与参数开销改进连续扩散语言模型。应用于 CoBit 得到 H-CoBit,在 LM1B 和 OWT 上生成困惑度分别为 49.4 和 50.4,比基线提升 24.2 和 20.7 点,GSM8K 准确率达 27.4%,超过同规模离散 DLM 及以往连续扩散和流匹配模型;应用于 FLM 得到 H-FLM 也有一致提升,代码将公开。

  16. arXiv · cs.CL23

    LLM 刻板印象评测的缺失环节:双重最小对方法

    一项 arXiv 研究指出,用单对对比句的 log-likelihood 差评测大语言模型偏见往往不可靠,改写属性可能导致逻辑不一致的偏好。作者提出双重最小对设置与数据增强框架,为英语、俄语、西班牙语和中文刻板印象数据集生成改写和替代属性,并引入基于互信息(MI)的新指标,支持跨语言、跨模型更稳健的刻板印象强度比较。代码已开源。

  17. arXiv · cs.AI22

    AnyBottle:只保留真正所需概念的概念瓶颈模型构建方法

    研究者提出 AnyBottle,一种构建紧凑、任务特定概念瓶颈模型(CBM)的单一配方。该方法仅需冻结 backbone 和无监督概念池(如 sparse autoencoder),由黑盒 teacher 逐轮选出最能解释瓶颈当前失败的概念,并以 nested dropout 训练。在六个视觉和两个文本数据集上,AnyBottle 以更少概念和更高概念一致性超越免标注基线,性能接近黑盒参考模型。

  18. arXiv · cs.AI42

    DeltaTTT:面向非线性循环记忆的逐层优化方法

    arXiv 论文提出 DeltaTTT,针对非线性 test-time training 记忆网络中串行更新优势不稳定、单遍优化困难的问题,将两层记忆网络的联合内环优化改为逐层学习,每层分配局部预测目标并通过状态依赖的 delta rule 更新,保留非线性 readout 同时支持 chunkwise 并行计算。在 DeltaNet 和 LaCT 骨干上的实验显示,语言建模与检索能力较各自循环基线有所提升。

  19. arXiv · cs.AI29

    SoK 系统化综述:面向青少年的人本 AI 安全

    一项系统性综述分析了 100 项涉及儿童与青少年接触 AI 的实证 HCI 研究,用 YAIR 风险分类法和 MIT Mitigation Taxonomy 映射风险与对策。结果显示大多数风险仅有设想中的对策,已实施的很少,经评估的更少,且评估多测技术性能而非实际防伤害效果。作者指出了防护空白并为人本 AI 安全研究提出方向。

  20. arXiv · cs.AI50

    LLM 中的潜空间偏置方向捕获的是模型置信度,而非公平性

    一项 arXiv 研究分析大语言模型 activation steering 所用的线性去偏方向,发现其主要编码的是模型置信度,而非偏置的表征。沿该方向 steering 确实能降低测得的偏置,但原因是模型被推向弃答,公平性指标改善只是降低置信度的副作用。研究指出将偏置与置信度解耦的线性表征难以获得,steering 去偏结果应谨慎解读。

  21. arXiv · cs.AI42

    自适应幂采样(APS):让 LLM 推理按查询难度自适应调节锐化强度

    研究提出 Adaptive Power Sampling(APS),一种无需训练的 LLM 推理方法,可在测试时按查询调整幂采样的锐化指数。理论上进一步锐化的收益取决于正确与错误回答之间的 self-reward gap,APS 据此利用答案一致性与 self-reward 的关系逐查询自适应调节。在 MATH500、HumanEval、GPQA 等推理任务上,APS 持续优于固定锐化指数的幂采样。

  22. arXiv · cs.AI41

    RAG-PIBench:面向可信 RAG 系统的泄漏感知提示词注入检测基准

    研究者推出 RAG-PIBench,一个针对 RAG 系统提示词注入检测的基准,包含 4,876 条上下文样本,采用泄漏感知的构建流程与严格的评估协议。对比实验中,DistilBERT 取得最佳受保护测试集表现(F1 = 0.896,PR-AUC = 0.968),TF-IDF SVM 和逻辑回归也保持竞争力。结果凸显了泄漏感知基准设计与强稀疏基线对可靠提示词注入检测的价值。

  23. arXiv · cs.AI22

    FedDermaSeg:面向皮肤病变图像分割的联邦学习方法

    研究者提出 FedDermaSeg,探索联邦学习在隐私保护皮肤病变分割中的可行性。该方法基于 ISIC 2018 皮肤病变分割挑战赛的训练与验证集模拟分布式学习环境,并在 ISIC 2018 测试集和 PH2 数据集上评估性能与泛化能力。结果显示,联邦模型性能与集中式训练相当,且持续优于本地训练模型。

  24. arXiv · cs.AI31

    学习方式如何决定遗忘:跨记忆-泛化谱系的机器遗忘研究

    该 arXiv 论文研究模型的学习方式如何影响其后续遗忘(unlearning)效果。作者用 modular addition 的 grokking 现象区分记忆主导与泛化主导的模型,发现泛化主导模型在遗忘时 retain set 性能损失更大,且这一趋势在引入 bucketed modular addition 后近乎单调成立,并在 LLM 的 verbatim 与事实召回遗忘场景中同样得到验证。论文据此给出两条改进遗忘方法的实践建议,强调需将学习动态纳入遗忘设计。

  25. arXiv · cs.AI58

    MINDSET:基于能量的模式演化方法改进长对话智能体记忆

    Sujato Dutta 在 arXiv 发布 MINDSET,一种将对话存为不可变 episode 并通过最小能量状态迁移组织成版本化 schema 的记忆控制器。在 850 题(700 LoCoMo + 150 MemoryAgentBench)上对比 5 个记忆系统,取得最高 LoCoMo F1,检索指标显著优于第二名 LightMem(Holm 校正后 p<0.01);消融显示受控碎片化与 schema 感知分配贡献最大,700 题跨模型评测(GLM-4.7、Gemma-4-31B)支持模型无关性。

    推荐理由:论文将长期对话记忆建模为受约束的状态管理,给出了与5个记忆系统的对比数据和消融结果,可迁移到记忆系统设计。

  26. arXiv · cs.AI16

    CMDS:基于随机最优控制的协调式多智能体扩散引导框架

    论文提出 Coordinated Multi-Agent Diffusion Steering(CMDS)框架,将冻结的预训练扩散模型作为可复用生成基元,把协调多个模型的反向过程表述为随机最优控制问题,在组装级奖励与偏离预训练动态之间权衡。实验显示 CMDS 可恢复已知目标分布、用同一训练好的控制满足不同空间约束、从退化混合中恢复单一来源,并在多智能体迷宫导航、关节机器人规划和文本条件人体动作生成中让冻结模型成为协调的多智能体生成器。

  27. arXiv · cs.AI9

    CropSentry:基于多模态叶片感知的蜂群协同多机器人作物早期胁迫检测系统

    研究者提出 CropSentry,一套低成本地面多机器人系统,由两台自主机器人逐行采集叶片颜色与环境数据,经空间映射后在主机器人上生成实时网页仪表盘监测作物健康。在 63 次观测实验中,整体分类准确率达 84.12%,其中健康植株 82.60%、缺营养植株 88%、病害植株 80%,10 次 slave 观测的无线通信成功率 100%。该系统面向中小农户,兼顾低成本与可扩展性。

  28. arXiv · cs.AI45

    Recursive Game Creator:面向游戏体验的智能体递归开发框架

    Recursive Game Creator 是一个面向游戏体验的智能体开发框架,通过 Designer、Builder、Player、Reviewer 四个组件递归迭代,把粗糙的游戏原型打磨成有趣的游戏。该方法在 GameCraft-Bench 上取得 77.89 的 SOTA 综合成绩,在 GameASG-Bench 上严格任务成功率达 53.2%,较同模型基线提升 34.1%,运行时检查通过率 93.4% 为对比方法中最高。用户研究显示玩家游玩时间更长、评分更高,代码即将开源。

  29. arXiv · cs.AI23

    E4:用“受限创造力”实现互联网规模服务的智能体根因分析(RCA)

    研究者提出面向互联网规模服务故障排查的智能体系统 E4,采用"受限创造力"范式,让 LLM 智能体通过受限 DSL 生成无环数据流程序,而非任意代码,从而保证输出准确、可验证且可解释。在合成与真实工作负载混合测试中,E4 准确率最高提升 62%,成本最多降低 12x,同时提供更可解释的响应。

  30. arXiv · cs.AI33

    Early Memory Selection for Balanced Adam:从短程试点训练中选择 Adam 共享记忆参数 β

    arXiv 论文提出从 200-update 试点训练中选择 Adam 共享记忆参数 β1=β2=β 的方法,选定的 β 在后续完整训练中保持固定。基于 Adam 归一化方向的局部模型导出三次记忆规则,用四个 checkpoint 各十六个 probe 梯度估计系数。在十一个视觉与语言 workload 的 seed-matched 回溯评估中,相比共享 β=0.95 的网格代表,平均相对验证 gap 降低 40.7%,最差四分之一平均 gap 降低 44.3%。

  31. arXiv · cs.AI41

    扩散模型中的特征信息动力学:一种定位特征生成时机的信息论框架

    一项 NeurIPS 2026 海报论文提出"特征信息动力学",用 I-MMSE 恒等式把特征互信息变化率与最优无条件及特征条件去噪损失之差联系起来,定位特征在扩散过程中何时被生成,并通过链式分解分离共享与增量信息。该框架定量证实了像素扩散中的谱自回归现象,并在类→掩码→Canny 条件链下比较 pixel、SDVAE、VAVAE、RAE 的特征信息密度,揭示了不同表示的根本差异,暗示有序生成或有助训练。代码已开源。

  32. arXiv · cs.AI40

    PPWM 提出并行预测世界模型,实现高精度高效长时程规划

    论文提出 Parallel Predictive World Model(PPWM),以并行方式预测有限时域轨迹,同时保留未来表征间的因果交互,避免自回归 rollout 的逐状态解码反馈。在四个视觉控制任务中,PPWM 取得最低长时程预测误差和最高的 CEM 模拟器成功率,CEM 规划速度较自回归 LeWM 基线平均加速超过 3×。

  33. arXiv · cs.AI18

    HygieneRoboBench:面向家庭机器人卫生感知规划的基准测试

    研究者推出 HygieneRoboBench 基准,包含 134 个任务族共 624 个实例,用于评估家庭机器人从接触历史中识别卫生风险并安全继续规划的能力。对基于 LLM 的规划器和符号规划器的评测显示,安全完成任务并不等于在用户优先级下执行成本最低。为此提出的 Hygiene-NSP 结合 LLM grounding、接触历史重建和 CP-SAT,安全解决率与最优安全解决率分别达 94.4% 和 90.4%,均高于基线规划器。

  34. arXiv · cs.AI56

    SquidAgent 论文提出并行多智能体决策判据,吞吐较 Claude Code 提升 2.2 倍

    Yexiong Lin 等发布 arXiv 论文 SquidAgent(arXiv:2610.08647,已被 NeurIPS 2026 接收),提出并行多智能体比串行更慢源于重探索成本和对齐成本,并给出按层判断是否并行的 token 成本判据。SquidAgent 从编排者会话直接 fork worker 并用预生成共享约定块替代事后调和,实测对 Claude Code 平均吞吐提升 2.2 倍、墙钟时间加速 2.6 倍,对最强多智能体基线吞吐提升 2.0 倍。

    推荐理由:论文指出并行多智能体常比单智能体更慢的原因,并给出以 token 估算成本的并行决策判据,方法可供 Agent 系统设计参考。

  35. arXiv · cs.AI46

    AI 编写软件的保障案例研究:无软件背景运营者如何治理医疗平台

    一项案例研究考察了由无正式软件工程背景的运营者、通过编码智能体构建并治理的生产级医疗平台。其工作流演化为人类主导的多智能体系统:一个智能体写代码,其他智能体负责监督和审查。研究发现测试、监控器与审查智能体本身也会出错,如监控器测量代理指标、审计静默失败、自动化修复造成运营中断;人类控制依赖于将预期结果、证据、智能体权限与人类最终决策绑定到同一目标。

  36. arXiv · cs.AI47

    Selective-RL:通过选择性迁移 RL 更新提升视觉推理能力

    Selective-RL 方法通过隔离 RL 训练阶段产生的参数更新,保留其主导矩阵方向并迁移至 VLM 的语言模块,实现免训练的能力迁移。在 3 个模型家族和 5 个视觉推理基准上,该方法在 15 组对比中的 12 组优于全量更新插值,其中 Qwen 接收模型在 MathVision 上提升 8.55 个百分点。对照实验表明,仅更新幅度或任意低秩都无法复现这些收益。

  37. arXiv · cs.AI40

    ParanoiaEval:首个评测编码智能体不必要防御性工作的 benchmark

    研究者推出 ParanoiaEval,首个统一评估编码智能体风险处理能力的 benchmark,基于 Avoidance-Transfer-Mitigation-Acceptance 框架构建 200 组证据受控的仓库级任务对。对 8 个代表性模型的实验显示,即便有明确证据,11.2%-58.7% 的运行仍出现不必要风险处理;更强的任务能力并不带来更恰当的风险处理,风险处理是独立的能力维度。

  38. arXiv · cs.AI46

    语义行为水印(SBW):面向 LLM Agent 的抗改写、防伪造溯源方案

    论文提出语义行为水印 SBW,在语义动作簇上对 LLM Agent 的高层行为嵌入溯源标识,不改动输出 token。在 ToolBench 上,改写攻击下的检测率达 0.49-0.66,而精确符号方案仅 0.05-0.17;ALFWorld 上为 0.92-0.97。密钥分桶使自适应伪造从 100% 降至误报底限,但复制受害者步骤的 chained replay 攻击仍达 0.76-0.98,作为开放问题报告。

  39. arXiv · cs.AI37

    MemFLoRA:面向边缘 CNN 适配的记忆下限 LoRA

    MemFLoRA 是一种以“激活记忆下限”准则为核心的低秩 CNN 适配器,冻结下投影、训练尺度匹配的上投影,使反向计算不依赖全宽层输入。在 3 个 HAR 数据集和 2 个 CNN 主干上,相比全量微调,其节省激活内存降低 98.5-98.7%,峰值训练状态内存降低 94.9-97.3%,且持平或超过 CNN PEFT 基线。该论文已被 ASP-DAC 2027 接收。

  40. arXiv · cs.AI51

    arXiv 论文提出248场景面板,测量 LLM 在压力下是否违背自身道德判断

    一项 arXiv 研究(arXiv:2610.08670)构建了覆盖五类压力的248个预注册场景,将模型作为行动者与第三人称判断对照,测量模型是否执行自己认定错误的行为。OLMo-3-7B-Instruct 约五分之一的施压场景会这么做;该差距取决于后训练方案,OLMo-3 与 Llama-3.1-8B-Instruct 存在此差距,Tulu 3 整体无差距,且行动前进行道德权衡推理可将选择拉回自身判断。