跳到正文
10月21日周三
  1. arXiv · cs.CL57

    arXiv 论文提出面向智能体的缓存工程方案与 AKV 推理引擎

    论文提出 cache engineering 方案,让 LLM 智能体通过 drop 和 repos 操作直接控制活跃 KV cache,无需修改轨迹或重新 prefill。配套的 AKV 推理引擎提供无状态接口并内部管理缓存复用;工具响应滚动 drop 策略相比阈值触发的摘要方法平均提升基准分 1.7 分、降低成本 27.7%,AKV 实现最高 1.2x 输出吞吐和 1.5x P95 延迟加速。

    推荐理由:论文提出让智能体直接操作 KV cache 的缓存工程方案,附带与常规摘要策略的成本和延迟对比数据。

  2. arXiv · cs.CL54

    R2S:修复教师打分器以改进智能体在线策略蒸馏

    arXiv 论文提出 Rollout-to-Scorer Distillation(R2S),指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差,教师看不到回合结局导致拖延动作通过评分,称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器,再冻结为唯一评分器做标准 OPD,修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法,平均领先最优基线 12.8 个成功点。

    推荐理由:论文指出教师评分短视导致智能体蒸馏失效的根因,给出的无奖励修复方法在十二组实验中均有提升。

  3. arXiv · cs.CL26

    DAR-MGSM:首个方言阿拉伯语数学推理基准发布

    研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。

  4. arXiv · cs.CL19

    NarraSpace:面向图片描述痴呆症分类的多模态场景锚定证据

    NarraSpace 将词语和语音时间与图片中的命名元素关联,检索预定义场景事件的语句,用冻结语言模型对比 Alzheimer's 病与健康对照样本,并结合 transcript surprisal 和覆盖度测量。在 Alzheimer's Dementia Recognition through Spontaneous Speech 基准的官方 48 人测试集上,固定支持向量分类器在五十个种子下平均准确率 80.88%±2.56%,平均概率法达 81.25% 准确率和 91.32% AUC。该框架将事件得分与源语句、语音时间及提取记录关联,使分类输入可检查,可辅助医生审阅图片描述。

  5. arXiv · cs.CL21

    AnomalyJev:基于声明级验证评估图像异常解释

    研究者提出 AnomalyJev,一个无需 token 生成的轻量级框架,通过从异常解释中提取可验证声明并与真值标注比对,评估多模态大语言模型异常检测解释的忠实度与完整性。团队构建了包含 640 条解释、超 1,600 条专家评分的人工标注评测集。AnomalyJev 与人类标注者的一致性超过多数开源 MLLM judge,接近旗舰 MLLM judge,且运行时和资源消耗仅为其一小部分。

  6. arXiv · cs.CL36

    ScratchProbe:用学习的读取 token 提取 LLM 置信度

    研究者提出 ScratchProbe,一种通过学习新的 readout token 而非使用已有词表 token 来训练置信度探针的方法,在多个数据集和 LLM 上优于现有 token 探针,多 token 扩展带来进一步提升。该方法只改变探针读取位置,可被任意现有探针采用,应用于 SOTA 探针后在所有 backbone 上的域内和域外 AUROC 均获提升。

  7. arXiv · cs.CL25

    AudiPsy:基于口语心理咨询对话的证据驱动多模态推理抑郁评估模型

    研究者提出 AudiPsy,一个基于证据的 omni-LLM,用于从口语心理咨询对话中评估抑郁。其采用 OAS(观察-评估-总结)范式,整合对话转录、文本与声学情绪及其不一致性进行结构化推理,并构建了合成语料 AudiPsy-Counsel 和三阶段课程训练。在 DAIC-WOZ 上表现优于专业抑郁检测方法与通用语音/omni-LLM,EATD-Corpus 上的补充评测验证了其对自然对话的适用性。

  8. arXiv · cs.CL44

    LLM 如何操纵用户:测量行为、社交与时间层面的影响

    一项 arXiv 研究提出行为计算框架,量化用户对操纵性 AI 回应的行为易感性。研究基于 DarkPatterns-LLM 基准,用 Manipulation Gradient Descent(MGD)生成针对权威、紧迫性与社会证明偏见的刺激,并通过 MSIAN 和 THPM 模型分析跨用户影响与时间持续性。在 120 名参与者的实验中,操纵性框架显著改变了信任校准与顺从度(p < 0.01),且效应会在社交情境中传播。

  9. arXiv · cs.CL48

    为什么静态探针会失效:上下文决定 LLM 欺骗特征 composition

    该 arXiv 论文(arXiv:2610.27577)指出,LLM 欺骗检测中假设欺骗对应单一表示方向的线性探针难以跨场景泛化,提出用迭代正交分解将欺骗表示为多维子空间。由于静态组合存在强域依赖,作者引入域自适应门控机制,在测试时通过 few-shot 动态组合方向;仅用 10 个样本,方法在所有数据集上平均 AUROC 达 0.97、5% FPR 下 recall 为 94%,显著优于现有方法。

  10. arXiv · cs.CL53

    arXiv 论文提出扩散语言模型的事实访问状态机制及 Multi-View Edit 知识编辑方法

    arXiv 论文提出扩散语言模型(DLM)中的事实访问状态概念,发现其与自回归模型不同,事实查找在第一层注意力与早期前馈层就完成。基于该状态,论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器,且各实体位置的状态可免训练地作为关系特定检索向量,在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。

    推荐理由:论文指出扩散语言模型的事实访问状态在首层注意力就组装完成,并据此给出知识编辑与免训练检索两种用法,可作理解 DLM 与 AR 机制差异的对照。

  11. arXiv · cs.CL53

    TeCoP:用 Tentative Context Pipelining 加速扩散大语言模型解码

    arXiv 论文 2610.27583 提出 TeCoP,一种无需训练的解码器,通过错开的块级流水线与 draft-and-verify,将稳定但未提交的预测作为临时跨块上下文,解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP,TeCoP 将前向评估次数最多减少 87%,无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍,在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB,同时有 cache 的平均精度与原解码器差距在一个百分点以内。

    推荐理由:论文提出训练-free 的扩散语言模型解码方案,给了跨 12 个模型基准设置的吞吐与精度对比数据,方法可复现。

  12. arXiv · cs.CL31

    超越模型权重:扩散语言模型中依赖采样配置的公平性研究

    一项 arXiv 研究考察了 LLaDA、LLaDA-1.5 和 Dream 三种扩散语言模型(DLM)在 Open-BBQ 上的社会偏见表现,发现三者均存在偏见,且测得的偏见大小和模型排序高度依赖 block length、remasking strategy 等采样配置。针对自回归模型的去偏策略可有效迁移到 DLM 并在不损害下游性能的情况下降低偏见,但采样依赖性在去偏后依然存在。结果表明 DLM 的公平性无法脱离采样配置独立评估。

  13. arXiv · cs.CL45

    重复数据下随机 token 替换的收益与代价:基于已知熵的分解及十个真实语料证据

    一项 arXiv 研究提出将验证损失分解为近似、估计与记忆三项的方法,分析随机 token 替换这一输入破坏式增强的收益与代价。在熵率已知的受控数据源上,替换将预测向语料均值收缩;在其有效的场景中可减少最小验证损失后损失上升约 60%。在十个真实语料实验中,替换降低了九个语料的最终损失,仅对最冗余的普查类程序生成 JSON 语料有害。

  14. arXiv · cs.CL28

    WORTH Benchmark:非完全合作信息下的证据发现——两集试点研究

    WORTH Benchmark 让模型阅读无线索标注的原版推理小说,自主筛选关键线索句、识别案件参与者并解释推理过程,故事由专业作者设计,使有助于推理的证据与延迟真相揭示的叙事并存。试点实验对模型进行两集共 70 次正式运行,其中 67 次可评分;Episode 02 的 37 次可评分运行中有 31 次选择了同一组错误参与者,怀疑导向与开脱导向句分别被选中 25 次和 0 次。该研究仅覆盖两集的全文条件,不建立稳定模型排名,也未报告人机对比。

  15. arXiv · cs.CL45

    SDDC:用于代码生成的自分解扩散框架

    SDDC(Self-Decomposing Diffusion for Code)提出先由扩散语言模型生成程序分解契约、再据此并行实现各单元的代码生成框架。在五个 benchmark 和两个 7B 扩散骨干上,SDDC 的 pass@1 最高提升 31.1 个百分点,解码比基座模型快 7.5–13.7 倍,并比微调基线最高高出 23.5 分且延迟更低。

  16. arXiv · cs.CL55

    arXiv论文审计114项递归自我改进研究的产品与流程评估证据

    Zihan Chen发布arXiv论文(arXiv:2610.27610),对2026年10月冻结的114项递归自我改进(RSI)研究全文编码,其中90项自称RSI。结果显示90%报告了产品评估,但仅60%在选择未用任务上评估,仅22%审计两次以上完整循环;26项声称改进流程的研究中只有4项在同一起点和匹配预算下比较前后流程,作者据此提出将每项声明与对应评估设计绑定的报告标准。

    推荐理由:论文用统一编码框架量化了RSI研究的证据缺口,指出可重复性和改进流程验证远弱于产品评估。

  17. arXiv · cs.CL49

    ABench:面向中文分类价值观的 LLM 对抗性基准

    研究者提出 ABench,一个针对中文分类价值观的细粒度手工基准,基于含 158 个价值子类目的层级分类体系,包含 2,895 个开放式问题,并用角色扮演、逻辑陷阱等方式探测模型在对抗情境下的立场稳定性。实验覆盖 16 个主流 LLM,结果显示多数模型在复杂价值观对抗攻击下得分低于 60,暴露明显脆弱性。该基准配套加权自动评估框架,数据将公开发布,已被 EMNLP 2026 主会接收。

  18. arXiv · cs.CL39

    PAR:面向状态跟踪长度泛化的进度对齐循环方法

    论文提出 Progress-Aligned Recurrence(PAR),通过让第 k 次迭代的预测对齐前 k 步操作后的状态、并将循环状态重缩放至首轮范数,提升循环语言模型的长度泛化能力。基于 Qwen2.5-0.5B、仅在最多 32 步上训练的模型,在 swap-S₅ 任务外推到 512 步时达到 95.5% 平均全状态准确率,为训练长度的 16 倍,显著高于 RLT 的 55.7% 和显式思维链的 0.8%。消融实验显示去掉范数锚定会使外推倍数降至 2.2 倍以下,无中间标签时可借助前缀自蒸馏从最终答案学习对应关系。

  19. arXiv · cs.CL23

    码混合与母语双向迁移:文本与语音领域系统综述

    arXiv 论文首次系统综述码混合(CM)文本与语音和母语之间的双向迁移研究,按迁移方向、路径和模态建立分类体系。综述发现迁移大多是母语流向 CM 设定,反向迁移较新且主要通过对齐助力;文本与语音研究方法相通但很少互相引用。在共享语音基准上,母语数据的帮助大于新架构。

  20. arXiv · cs.CL30

    BCT:流语言模型的贝叶斯一致性温度调节方法

    论文提出 Bayes-Consistent Tempering(BCT),解决后验诱导流语言模型中温度缩放作为事后处理导致的两处不匹配:中间含噪状态分布改变而去噪器未相应训练,以及温度调节后的后验权重与未调节动力学的组合。BCT 将温度显式纳入生成流的分布与动力学,并提供无需训练的变体。在超球面流 LM、von Mises–Fisher 流 LM 及 Sudoku 任务上,BCT 在宽温度范围内提升 GSM8K 生成表现,极低温度下学习版比免训练变体更稳健,代码与模型权重已公开。

  21. arXiv · cs.CL48

    CUA-Recovery:面向长时程计算机使用智能体错误恢复的基准测试

    研究者提出 CUA-Recovery 基准,用 ReRail 框架在持久桌面环境中合成多应用长时程任务,评估计算机使用智能体(CUA)的错误检测与恢复能力。测试集含 2,250 个经人工验证的错误状态(100 个任务),训练集含 8.6K 轨迹(377 个任务);六款智能体错误感知率(EAR)最高仅 44.0%,Pass@3 最高 25.5%。用训练集微调 Qwen3.5-35B-A3B 后,其平均 EAR 从 19.9% 升至 35.2%,Rubric Score 从 5.0% 升至 16.1%,并在 MyPCBench 和 Odysseys 上分别提升 15.3 和 10.8 分。

  22. arXiv · cs.CL39

    Speak vs. Know:平衡大语言模型的行为分布与知识分布

    一项 arXiv cs.CL 研究发现,LLM 输出文本所表达的观点分布(知识分布)与其 log-probability 分布(行为分布)并不一致:在 World Values Survey 问题上,三个 LLM 平均有 37% 的最可能答案在两种分布下不同。作者提出一种可学习的组合分布方法,在六个模型、三个调查数据集上,将行为一致性从 71.6% 提升至 95.6%,而与人类观点分布的总变差距离仅从 28.8% 升至 33.8%。

  23. arXiv · cs.CL39

    语料质量提升,检索效用却不升:语音转问答流水线中预处理与精炼的消融研究

    一项消融研究将会议语音转为问答对的流水线中预处理(转写改写)与精炼(过滤)阶段分别开关,得到四个来自 40 场韩语医疗与金融 session 的语料。4 个 LLM 评审与 6 位人类专家一致认为完全精炼语料质量最高(1-5 分制领先 +0.18/+0.22),但下游检索准确率排序不成立:开启转写改写使检索准确率下降 0.061,且几乎使单 session 成本翻倍。该语料本身仍很有价值,将各模型检索准确率从 0.231 提升至 0.748,超过三分之一的问答对包含两个前沿模型各自无法独立生成的知识。

  24. arXiv · cs.CL44

    CovNav:用 Conformal Prediction 引导自适应推理的目标导航框架

    CovNav 是一个 training-free 框架,用 Conformal Prediction(CP)判断物体目标导航中何时启用慢思考:本地 LLM 快速模式判断目标是否可能在附近,仅模糊查询升级到慢速 chain-of-thought 推理。在 Gibson 和 HM3D 上,CovNav 在 HM3D v1 和 v2 的成功率分别超过最强 zero-shot 基线 0.8 和 1.7 个百分点,且只对 12.4% 的查询调用慢推理;TurtleBot 4 实机实验进一步验证了该方法。

  25. arXiv · cs.CL21

    PhonoBridge:错误感知的音素介导 EMG 语音转文本重建框架

    PhonoBridge 提出两阶段框架,将 EMG 信号经通道感知前端转为音素,再用 LLM 重建文本,并通过 EPGA 数据增强适配前端噪声。利用 LibriSpeech 转录生成音素-文本对扩充训练数据,无需额外 EMG 录制。在 Open Vocabulary 无声语音数据集上,PhonoBridge 达到 24.77% WER,优于此前同测试集最佳的 28.27%。

  26. arXiv · cs.CL48

    Memory as Code:用代码化抽象与声明式检索统一 LLM 智能体长期记忆

    研究者提出 Memory as Code(MaC)框架,通过统一的代码抽象联合设计 LLM 智能体的记忆构建与检索。MaC 采用原子函数层、关系层到模块组合层的三层可执行记忆结构,并将检索改为对记忆的声明式查询处理。在 LoCoMo 和 LongMemEval 上,相对各设置下最强基线,LLM-judge 整体准确率最高提升 15.91%,同时大幅降低 token 消耗。

  27. arXiv · cs.CL22

    追踪 Text-to-SQL 分解生成中的复现性与涌现性幻觉模式

    研究者提出一个下钻式评测框架,将 Text-to-SQL 查询分解为逐步更复杂的可执行子查询,沿生成路径考察基于规则的幻觉类别,区分“复现性幻觉”与“涌现性幻觉”。在 BIRD-mini 扩展基准上对五个 LLM 的评测显示,多个类别有可观的复现概率,clause abuse 的条件涌现相对更高;加入对话历史后复现概率普遍升高、涌现概率普遍降低。代码与评测工件已在项目仓库开源。

  28. arXiv · cs.CL27

    LLM 中语言与算力运算回路是否相互分离?

    一项机制可解释性研究利用电路发现方法,在五个 LLM 中比较语言任务与算术任务的神经回路重叠及因果效应。结果显示回路相似性主要由任务领域(语言 vs. 算术)解释,而非输入输出词表或句法相似性,表明 LLM 可能以 largely separate 的回路分别处理语言与算术信息,呈现按能力划分的模块化组织。该论文已被 AACL-IJCNLP 2026 主会接收。

  29. arXiv · cs.CL47

    ProVe:Proposer-Verifier 解码方法

    arXiv 论文提出 ProVe(Proposer-Verifier decoding),将投机解码的角色反转:把 32B 大模型微调为一次前向传播预测一个 token 块的 proposer,再用额外一次前向传播验证。块大小为 16 时,GSM8K 上平均有 6.6 个 token 的前缀与 AR 一致;ProVe-lossless 在六个基准上平均达到 2.5x AR 吞吐,无需训练单独的 draft head。使用 3B 小模型验证时吞吐达 2.7x,准确率较 AR 低 2.6 个百分点,提供速度与精度的可控权衡。

  30. arXiv · cs.CL27

    SciDiagBench:面向科学图表的按类型对齐人类评估基准

    研究者推出 SciDiagBench,将科学图表系统分为 11 种类型,覆盖 10 个大领域的 165 张图表,类型包括图形摘要、技术路线图和示意案例等。该基准通过偏好引导的校准过程,把人类评估偏好融入按类型定制的评估标准,弥补现有 VLM 评估基准缺乏图表分类和未对齐人类偏好的不足,实现更贴近人类评审的自动化评估。

  31. arXiv · cs.CL29

    UvA-MT 参加 WMT26 通用机器翻译共享任务:基于 LLM 测试时策略的无约束赛道方案

    阿姆斯特丹大学 UvA-MT 团队提交 WMT26 通用机器翻译共享任务无约束赛道,覆盖全部 23 个翻译方向。方案采用带精炼提示词的顺序采样生成候选译文,并让 LLM 以循环投票的成对评审方式选出最佳候选,WMT25 基准离线评测显示其明显优于 point-wise best-of-N 选择。

  32. arXiv · cs.CL46

    从 token 到文件:AI 参与代码的多粒度检测与定位

    一项 arXiv 研究提出在 token 级别建模 AI 代码署名、并同时在行、块、文件三个粒度预测的检测框架:冻结的代码语言模型配两个低秩适配器,用逐 token 对数似然比提供局部证据。该方法在含 11,773 个 AI 参与文件的内部测试集上达到 72.4 macro F1(1% FPR),在未适配的 HybridCodeAuthorship 外部基准上行级 F1 达 62.5,高于原文报告的 56。在 19,445 个 2022 年前仓库的人工代码文件上,假阳性率保持在 0.55% 至 0.81%。

  33. arXiv · cs.CL25

    用难命名的视觉刺激测试人类与多模态 LLM 的联想创造力

    一项研究通过 SilCC 与 PixCC 两个数据集,从原创性和有效性两个维度对比人类与多模态大语言模型(MLLM)对抽象视觉刺激的联想创造力。结果显示,人类的联想描述在语义距离、熵值和相对参考词库的新颖性上均高于 MLLM。随着难度提升,SilCC 中有效性下降,PixCC 中人类逐渐从整体联想转向描述低层视觉特征。

  34. arXiv · cs.CL32

    LLM 为何接受泛型陈述?用心理语言学与模型内部因素解释其可接受性判断

    一项 arXiv cs.CL 研究在 12 个模型上检验心理语言学因素如何影响大语言模型对泛型陈述的判断。结果显示模型像人一样权衡属性的常见性与区分度、偏好典型属性,但忽略显著性高的属性;对模型影响最大的是陈述是否事实为真,人类因素的影响大多经由该判断传导。在 6 个 7-9B 模型中,沿各因素方向移动隐藏状态可按预测改变判断。

  35. arXiv · cs.CL25

    从 DQI 到 C-DQI:面向计算化话语质量指数的自动编码本生成与评估

    研究者提出一套基于 LLM 的编码本自动生成与评估协议 C-DQI,从话语质量指数(DQI)出发,比较自上而下(理论驱动)、自下而上(数据驱动)和混合三种生成方式。他们设计了经人工标注验证的外部代理指标和利用模型间偏差的模型间一致性(IMA)指标。在 100 份以色列议会 transcripts 上的实验显示,数据驱动的归纳式编码本 IMA 更高且保持有效性,可用于大规模政治话语分析。

  36. GitHub · 去对齐工具与仓库35

    worldbench 开源 awesome-vla-for-ad:自动驾驶 VLA 模型综述资源库

    GitHub 仓库 awesome-vla-for-ad 汇总了自动驾驶视觉-动作(VA)与视觉-语言-动作(VLA)模型研究,配套论文《Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future》(arXiv:2512.16760)。内容将现有方法分为 End-to-End VLA 与 Dual-System VLA 两大范式,按时间线整理 Action-Only、Perception-Action 等分类下的模型、数据集与 benchmark,并提供 HuggingFace Leaderboard。

  37. arXiv · cs.AI27

    超越校准:LLM 置信度在多语言与本地化场景下的时序评估

    研究者对比 LLM 解题前(FOK)与解题后(JOL)置信度信号的可靠性,涵盖两个前沿模型、多个推理领域及英语与马拉地语基准。解题前的低成本信号校准较弱,解题后置信度认知对齐更强但推理成本更高;英语与马拉地语间校准趋势可经翻译迁移,但在本地化马拉地语知识上明显退化,幻觉回答在生成后仍保持高置信度。

  38. arXiv · cs.AI51

    研究揭示微调目标如何塑造大语言模型幻觉检测中的层级信息分布

    arXiv 论文 arXiv:2610.27711 发现,在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式,原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何,而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow,其上各层高度冗余,截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍,同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3,并在 QNLI 和 SST-2 上重现相同层级结构。

  39. arXiv · cs.AI28

    RLSplat:面向前馈 3D Gaussian Splatting 的资源线性预算控制方法

    RLSplat 是一个资源线性预算可控的前馈 3D Gaussian Splatting(FF3DGS)框架,通过学习 Gaussian 分配策略直接生成指定数量的 Gaussian,使表示大小、推理延迟和峰值显存随预算减少而线性下降。在 zero-shot 评测中,RLSplat 在各预算下均超过已有方法,用少 4× 的 Gaussian 即超越最强基线,低预算下最高快 4.1×、峰值显存少 9.6×。代码已开源。

  40. arXiv · cs.AI47

    何时经验记忆能帮助闭环 LLM 驾驶智能体?带重采样热身池与 token 匹配对照的受控评估

    一项基于 HighwayEnv 测试床、以 gpt-4o-mini 运行的受控评估研究了经验记忆何时能帮助闭环 LLM 驾驶智能体。结果显示:10 个重采样热身池中,检索式记忆仅在 1 个池优于 No-Memory(sign test p=0.011),且任何被测检索设计都未超过 token 匹配的无关填充对照,仅一条 15-token 谨慎指令即达碰撞合并上限。研究表明单池比较会得出被对照反转的记忆增益结论,作者已开源测试床、审计端口、种子与缓存。