跳到正文
10月23日周五
  1. arXiv · cs.AI23

    证据感知评估:真实标注如何影响乳腺病变 RAG 系统的检索得分

    一项研究提出面向乳腺病变管理文献的临床 RAG 系统证据感知检索评估协议。混合检索器(密集嵌入 + BM25 + cross-encoder 重排)采用 384-token 块、20% 重叠,在 18 个查询中 17 个于前三条结果检回认可证据,Recall@3、R-Precision、MRR@3 与 nDCG@3 均达 0.94。扩充真实标注使证据跨度从 25 增至 37、可接受块从 36 增至 51,但不改变检索排名,凸显得分对标注覆盖的敏感性。

  2. arXiv · cs.AI54

    RLVR 是否加剧工具性收敛?OLM-3 检查点证据的质疑研究

    arXiv 论文 2610.31624 用 InstrumentalEval 评测 OLMo-3-7B-Think 从 SFT、DPO 到 13 个 RLVR 中间检查点的行为轨迹,发现工具性行为率先升后降:从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%,最终降至 11.8%。提示词框架效应只能解释检查点内约 15% 的方差,INLP 移除框架方向也不改变 SFT 到最终 RLVR 的下降;32B 端点初步结果同样从 35.53% 降到 22.37%。作者强调结论仅适用于该模型族和基准,评审一致性中等,绝对比率需谨慎解读。

    推荐理由:论文用 13 个 RLVR 中间检查点追踪工具性收敛行为的完整轨迹,比单一前后对比更能说明训练阶段的影响。

  3. arXiv · cs.AI40

    CausalCoT:通过上下文隔离缓解注意力泄漏的因果链式推理框架

    研究者提出 CausalCoT 推理框架,将问题分解为有向无环图中的原子子问题,每个节点仅在只含直接因果父节点的隔离上下文中求值,以消除注意力对无关上下文的泄漏。在多个推理 benchmark 上,CausalCoT 在保持有竞争力的预测性能的同时,中间推理步骤的因果敏感性平均提升 12 个百分点、最高提升 21 个百分点。其结构化依赖图还支持测试时干预,使局部修正可预测地传播到下游推理。

  4. arXiv · cs.AI58

    arXiv 论文提出用低比特精度压缩语言模型 n-gram 嵌入表

    Stephen Chung 在 arXiv 发布论文,研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上,4-bit 表节省约 75% 表内存,同时保留加表带来的验证损失改善的 99% 以上;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存,困惑度增加低于 1.2%。更低位宽性能下降更大,但短时微调可恢复大部分损失,将省出的内存换成更大表还能超越原全精度表的性能。

    推荐理由:论文系统比较了不同量化和位宽分配方案,给出从零训练与现有大模型两组数据,可帮助读者评估低比特 n-gram 表的实际收益。

  5. arXiv · cs.AI40

    METTA:面向元强化学习的记忆增强测试时自适应方法

    研究者提出元强化学习方法 METTA,将快速自适应分解为两个时间尺度:因果神经记忆以线性序列复杂度完成回合内细粒度自适应,紧凑的回合级摘要支持跨回合任务推断。在未见过的 Meta-World ML10/45 测试环境上,METTA 成功率超过 50%,且训练预算低、耗时短;在长上下文稀疏奖励 PointMaze 任务上,其探索行为比基于 transformer 的基线更有结构。

  6. arXiv · cs.AI31

    面向 LLM 的 IT 工单分类成本感知弃权研究

    一项研究提出用成本感知弃权评估 IT 工单自动路由策略的离线可用性。在 47,837 条工单、八分类的公开语料上,TF-IDF 加逻辑回归在校准数据上选定阈值 0.60 后,测试成本从 0.763 降至 0.472,相对降低 38.1%,错误路由率从 15.3% 降至 3.5%;表现最好的提示配置准确率 0.477,低于同批工单上微调 DistilBERT 的 0.879。研究还报告 correctness AUROC 与 ECE,并强调这是评估框架而非新的弃权算法。

  7. arXiv · cs.AI36

    Direct Pass@$k$ Optimization 用于思考剪枝:在测试时推理中平衡质量与多样性

    一项 arXiv 研究提出通过直接优化 pass@$k$ 来剪枝测试时推理候选解:所选候选池在续写至完成后最大化至少一个部分解得到正确答案的概率,从而同时奖励高质量部分解并惩罚冗余,使质量与多样性由目标函数自然平衡。在八个开源权重推理模型上,该方法优于现有基于质量和多样性的剪枝策略,且当保留中等数量部分解时收益最明显。

  8. GitHub · 3D 生成新仓库21

    groundwater-neural-operator:地下水神经算子研究代码仓库开源

    GitHub 新仓库 liufan612/groundwater-neural-operator 发布了水头条件化两阶段地下水流与溶质运输研究的代码。仓库包含合成数据生成、五种神经网络 backbone(unet、fno、afno、uno、deeponet)、两阶段与双分支训练,依赖 MODFLOW 6.8.0 和 Python 3.11,数据按 70/20/10 划分训练、验证与测试场景,训练权重和数据集需按仓库命令本地生成。

  9. GitHub · 3D 生成新仓库27

    UnifiedGroupGen:基于群—轨道参数化与性质条件流匹配的材料结构生成研究仓库

    开源仓库 UnifiedGroupGen 实现了群—轨道参数化与性质条件流匹配的材料结构生成,将空间群、层群和平面群编译为统一的结构展开、随机先验和训练接口,支持 MP20、C2DB、MPTS52 数据及两阶段 CFG 逆向设计。正式数据 102,608 条,联合划分 82,183/10,190/10,235;共享模型约 18,030,806 参数,1536 次采样中精确回收目标群 1526/1536。物理稳定性验证与公平基准比较仍待完成。

  10. GitHub · 3D 生成新仓库64

    Dynamic-Story-Graph 仓库用前缀因果约束审计小说叙事理解基准

    GIND123 发布 Dynamic-Story-Graph 仓库,要求系统只能依据引语之前的前缀文本做归属,并在每条数据上用代码强制该约束。审计发现 PDNC 上已发表的非因果方法的决定性线索对 29.3% 的显式引语位于引语之后,并用 Qwen2.5-7B-Instruct 给出首个前缀因果归属结果,因果代价为 +0.165。研究还测得 append-only 状态存储在真实小说上会让 9-42% 的单值槽位自相矛盾,全流程 231 项测试通过,无 LLM judge、无付费 API,全部表格可由已提交工件复现。

    推荐理由:以代码强制前缀因果约束重测 PDNC 引语归属基准,发现已发表方法依赖事后信息,并给出因果代价与状态污染的量化结果。

  11. arXiv · cs.CL38

    口头偏好与实际奖励如何脱节:研究揭示用户在 AI 回复中真正看重什么

    一项基于 PRISM 公开数据集的研究比较了用户的口头偏好与实际评分行为:1,396 名参与者对来自 21 个 LLM 的 29,347 条回复进行了评分。研究发现,回复长度、格式和拒答语言等问卷未涉及的具体特征,对评分的影响不亚于被调查属性的文本代理指标;口头优先级只与模型的感知属性相关,难以预测实际奖励的特征。个人信息对预测留出选择的增益最多仅 0.13 个百分点,而更强的池化模型为 1.11,这对偏好获取和 AI 个性化具有启示意义。

  12. arXiv · cs.CL12

    MixJudge:面向人声混音的语言可查询音频评审模型

    研究者构建了覆盖 11 类人声混音问题、含多种严重程度的教学式课程数据,训练出语言可查询的音频评审模型 MixJudge。该模型能检索混音问题、区分相反问题并对问题严重程度排序。在菜单选择任务中,MixJudge 往往偏好声学上更接近留出专业版本的处理方案,显示显式混音判断可支持比较与下游混音决策。

  13. arXiv · cs.CL53

    arXiv 论文揭示大语言模型以隐匿化方式产生概率偏见

    Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。

    推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。

  14. arXiv · cs.CL42

    TutorCaseBench:用于评估 LLM 导师应对学生挑战性行为的案例基准

    研究者推出 TutorCaseBench,基于教育学、教育心理学和特殊教育的定性案例研究评估 LLM 导师。基准包含 923 段对话、五种挑战类型,通过 1,560 项开放式生成和 2,537 项选择题评测。11 个 SOTA 模型中最强者也仅在 55.8% 的开放式案例中满足评分标准,开源权重模型在情境化适应上的差距更明显,数据已公开。

  15. arXiv · cs.CL32

    TRIAD 基准:评测多模态大语言模型的全模态歧义消解能力

    研究者推出 TRIAD 基准,用文本-图像-音频三元组评测全模态大模型的歧义消解能力,包含 327 个手写问题、86 个场景组和 18 类歧义。对 14 个全模态系统的评测显示,最佳模型的组级准确率仍落后人类 20 分以上;移除答案选项后模型组准确率跌至个位数,且现有系统在文本和图像并存时常低估音频线索。

  16. arXiv · cs.CL32

    合成到真实的尼泊尔语-英语夹杂 ASR:一个自发播客基准

    研究者发布尼泊尔语-英语夹杂 ASR 基准,含 13,044 条自发播客语句(共 15.45 小时)。两阶段合成到真实适配框架中,仅用 0.95 小时 TTS 合成语音做 SFT,将 MER 从 23.40% 降至 21.52%,语言切换点错误率(SPER)从 35.89% 降至 28.77%;后续 GRPO 仅带来小幅统计显著调整。SFT 同时将尼泊尔语 MER 提升 2.71 pp,而英语词错率保持 3.38%。

  17. arXiv · cs.CL34

    MCPD:在策略自蒸馏中降低对参考答案的敏感性

    arXiv 论文提出 Monte Carlo Privileged Distillation(MCPD),针对在策略自蒸馏(OPSD)中单一完整参考答案导致的"参考诱导目标不稳定"问题。MCPD 将特权上下文建模为多个部分参考视图的分布,对多个视图下的教师 next-token 分布取平均,等价于最小化期望 KL 散度。在数学与科学推理 benchmark 上,MCPD 持续优于完整参考条件的 OPSD。

  18. arXiv · cs.CL55

    论文追溯推理模型中 wait 标记的来源:继承自数据而非 RL 发明

    arXiv 论文 2610.30882 通过频率、位置、形式与用法等无标注指标及错误注入实验,追溯推理模型中 {wait} 标记的来源,发现 zero-RL 几乎不会创造该词,在缺乏该词的 base 上 RL 大幅提升 MATH-500 准确率而 {wait} 几乎不出现。该标记主要由训练数据引入,如 OLMo-3 的 mid-training 和基于推理轨迹的微调;base 已有该标记时,OLMo-3 与 MiMo 的 RL-Zero 配方会放大其使用,而无 KL 的 GRPO 不会。论文还指出标记频率本身不能指示 RL 引发的推理,并警示 LLM-as-a-judge 修订指标可能逆转人工标注趋势。

    推荐理由:论文用无标注指标和错误注入实验区分了 RL 与训练数据对 wait 标记的来源,方法可迁移到其他推理行为的溯源分析。

  19. arXiv · cs.CL16

    ODCBNA:面向孟加拉语网络欺凌的本体驱动行为与网络分析框架

    论文提出 ODCBNA,一个以施害者为中心的孟加拉语网络欺凌分析框架,整合本体设计、知识图谱、行为建模、社区分析与影响建模。基于 BenCoDiC 语料,其识别出 1,063 名施害者,以 64 维特征向量构建含 27,554 条边的加权网络;Louvain 分析发现 6 个社区(模块度约 0.495)和 27 个子社区,IM Greedy 影响分析在全部 6 个社区取得小幅正向增益。

  20. arXiv · cs.CL45

    硅基采样能匹配答案却匹配不了受访者:LLM 模拟调查人群的覆盖缺口研究

    一项 arXiv 研究提出受访者覆盖缺口(RCG)指标,衡量 LLM 生成的合成调查受访者与真实人类受访者在完整答案组合上的差距。在两个美国社会调查上,六款被评测的 LLM 均未能覆盖真实人类受访者,且在主要设置下低于从人类边缘分布独立抽样的基线;在所有测试的提示词与推理设置下,每个 LLM 的 RCG 都高于拟合人类数据的高斯 copula。

  21. arXiv · cs.CL25

    HFCMA:基于动态粒度发现与最优传输的层次化细粒度跨模态对齐

    论文提出 HFCMA 框架,用于细粒度图文检索,先通过动态粒度发现(DGD)将图像 patch 与文本 token 聚合为语义紧凑的视觉区域和文本短语,再把区域-短语匹配建模为熵正则化的最优传输问题,并引入背景去偏、文本重要性加权和原型一致性正则。在 Flickr30K 和 MS-COCO 上的实验表明,该框架在双编码器检索下提供了结构化局部对齐信息,提升了对细微语义差异的区分能力。

  22. arXiv · cs.CL32

    ReflectPO:面向长程 LLM Agent 的反思引导策略优化

    研究者提出 ReflectPO,一个用于长程任务中自主错误恢复的强化学习框架,包含反思引导采样和树结构信用分配两个核心组件。在两个长程工具使用 benchmark 上,ReflectPO 在多数领域超越现有基线,平均总体性能最佳。分析显示该方法能提升 Agent 识别自身偏差、从错误状态恢复并持续推进任务的能力。

  23. arXiv · cs.CL51

    自然语言自编码器能否将激活差异转述为自然语言的研究

    arXiv 论文(arXiv:2610.30934)研究了自然语言自编码器(NLA)的泛化能力,围绕组合结构、微调模型迁移、模型 diffing 恢复微调目标、专门化 diffing 四个问题开展实验,覆盖三个模型族的四个模型。结果显示 NLA 可在原模型的轻量微调版本上不经重训直接复用(仅最大模型重建质量明显下降),能从 Taboo 模型有机体与原模型的激活差异中恢复被隐藏的秘密词,且在用户提示词之前的 token 位置信息量最大;但在 emergent misalignment 检测任务上尚未超过最先进的模型 diffing 方法。

  24. arXiv · cs.CL28

    追踪 LLM 推理中生成 UML 类图的幻觉:实证分类与缓解研究

    arXiv 一项研究提出包含 Prompt Faithfulness、Code Faithfulness 和 Reasoning Quality 三个维度、11 个子类的幻觉分类法,基于 60 条人工标注与 120 条 DeepSeek-R1 推理轨迹及 20 条 DeepSeek-V4-Pro 轨迹。在 13 个 Golden UML ModelSet 案例上,向 Qwen3 系列模型的提示词中加入两类约束使平均 F1 提升 4.0 个百分点,事后 Code Faithfulness 审查则无一致收益。

  25. arXiv · cs.CL13

    RetiJev:快速、有来源依据的眼科决策模型

    研究者推出 RetiJev 系列眼科临床决策模型(0.8B-9B),直接对候选答案打分而非自回归生成,并发布基于 PubMed Central 文献和 MeSH 词表构建的 RetiJev-Data 语料库与 24,662 题评测基准。RetiJev 在指南分级上比 27B LLM 和商用 Jev 1.13 决策模型高 10.4-23.0 分,RetiJev-9B 在临床决策上最高超出基线 5.4-6.5 分。单 GPU 回答一个病例仅需 158 ms,比 LLM 生成快 3.5 倍、比推理快 470 倍。

  26. arXiv · cs.CL25

    一旦是树,永远是树吗?语言模型中层级泛化的跨语言迁移研究

    一篇 EMNLP 2026 论文提出跨语言贫乏刺激(CPOS)实验设置,量化语言模型在持续训练中能否将 L1 的层级结构证据迁移到 L2。结果显示模型只能部分迁移,仅在 L2 产生小而可检测的层级偏置,且强度随语言对而变化。消融实验进一步表明,词表重叠对层级句法泛化的跨语言迁移至关重要,说明这种迁移只有在特定条件下才能实现。

  27. arXiv · cs.CL41

    封闭集决策用紧凑编码器:从 17M 到 1B 参数,逐选项读取优于联合读取

    这项研究探究了封闭集决策(如工具选择)所需编码器的最小规模及读取方式,发现 3200 万参数下逐选项打分比联合读取高 5.8 个机会校正分(约匹配训练算力时高 2.8),且不受选项顺序影响,而联合模型重排选项会改变 12-23% 的答案。发布的 6 个编码器中,6800 万和 1.5 亿参数模型在 209 个 System1-Arena 任务上分别超过 4.35 亿参数 DeBERTa-v3 零样本分类器 4.9 和 5.9 个准确率点,最小模型中位延迟仅 14 毫秒,对比 728 毫秒。

  28. arXiv · cs.CL20

    疫苗与移民争议政治话语中省略三段论检测的解释性差异与话语结构研究

    arXiv 论文研究社交媒体上省略三段论(enthymemes)的检测:在疫苗和移民相关推文上,每条由五名标注者标注,所有微调模型的 F1 都停留在约 0.67,与数据规模、特征或标签类型无关。论文提出将预测与标注者投票的完整分布进行比较的评测指标,以及直接预测该分布、更好捕捉分歧且不损失 F1 的模型。研究发现模型依赖显式论证结构,难以识别链接隐含、需读者自行推断的论证。

  29. arXiv · cs.CL63

    arXiv 论文发现 schema 中的最小条目数会让开放权重模型填充提取列表

    arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为,发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文,难以被校验发现;告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限,而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。

    推荐理由:论文用预注册实验量化了 schema 最小条目数如何导致模型凑数虚报,并实测了几种常见修复方法的有效程度。

  30. arXiv · cs.CL45

    文档真实修订下的分块重算:测量固定、递归与内容定义分块的更新成本与检索质量

    一项 arXiv 研究在 120 对相邻中英文 Wikipedia 修订版本上测量 RAG 分块策略的更新成本,覆盖固定大小、递归和内容定义三种分块器。在 116 篇公共成功集合上,固定分块需重算 57-68% 的嵌入输入工作量,递归分块为 38-56%,内容定义分块为 43-54%;在 2048-token 检索预算下各方法的平均证据召回差异小于两个百分点。研究指出更新成本应与检索质量一同报告。

  31. arXiv · cs.CL47

    RIFT:面向草稿模型的 KV cache 压缩方法与互补可压缩性训练

    arXiv 论文提出 RIFT,一组基于选择的 KV cache 压缩策略,用于缓解推测解码中随输出变长产生的 decode staleness 问题,平衡 prefill 信息与近期生成 token,并引入自适应 KV 刷新与基于稀疏注意力掩码的可压缩性训练。经压缩训练后,Qwen3.5-4B 为 Qwen3.5-122B 起草时,在 32K token 输入、4K token 输出和 8K token KV cache 预算下保留超过 98% 的全缓存接受长度。

  32. arXiv · cs.CL43

    面向长期个性化 Web Agent 的主动偏好获取方法 APA 研究

    一项 arXiv cs.CL 研究提出主动偏好获取(APA),用未来任务期望累计收益减去询问成本与隐私风险的 Prospective Personalization Value 指标,决定 Web Agent 值得询问哪些用户偏好。在纵向基准 ActiveWebPref 上,20 个任务的视野下 APA 获取了 80.3% 依赖摊销的有价值缺失偏好,而仅看当前任务价值的方法只获取 5.1%,并以 27.6% 的问题恢复了全量询问 84.2% 的效用收益。

  33. arXiv · cs.CL18

    PRISM:通过步骤序列推理识别程序性视频中的错误操作

    研究者提出 PRISM(Procedural mistake Recognition via Interpretable Semantic Modeling),用于程序性视频的操作错误识别:它将视频片段与语言对齐,并用在正确执行样本上训练的轻量级隐马尔可夫模型映射到程序状态,通过参考对齐和语义检查发现步骤内容与顺序错误。该方法将数据集标注统一映射为插入、删除、替换、移位四类错误,在三个 benchmark 上验证,语义角色标注在全部六组匹配的 grounded 对比中提升了 Any-F1。

  34. arXiv · cs.CL53

    Delta N-gram 提出免反向传播的语言模型原生 N-gram 记忆持续写入方法

    Hao Wu 在 arXiv 发布 Delta N-gram 论文,提出向模型原生哈希 N-gram 表写入证据的 forward-only 路径,预训练表 T^0 不被修改,写入只走前向传播,清零补丁 Delta 即可还原原模型。0.6B 原型在第二次写入后保留 16/16 事实,而在线梯度写入只保留 2-4/16;在 35,000 次写入的七任务链上后期精度变化仅 -0.26/-0.52pp,论文链接为 https://arxiv.org/abs/2610.31125v1。

    推荐理由:论文给出免反向传播写入 N-gram 记忆表的具体方法和多组稳定性数据,可与梯度写入方案直接比较。

  35. arXiv · cs.CL41

    超越观看与搜索:面向视频中心深度研究报告的智能体评测基准 OmniDR-Bench

    研究者提出视频中心深度研究报告生成任务,并发布技能工作流与评测基准 OmniDR-Bench。该基准包含 50 个中英文任务、覆盖 19 个真实子类别、共 6,414 条标准,并采用 Omni Atomic Rubric Trees(Omni-ARTs)从视听定位、多模态证据使用和交互式呈现三个维度评估。在 18 个智能体配置中,最佳系统仅得 63.3/100 分,代码与数据已开源。

  36. arXiv · cs.AI44

    通过反事实干预测量驾驶视觉-语言-动作(VLA)模型的推理与行为耦合度

    一项arXiv研究通过因果反事实干预,对四个驾驶VLA模型在不同benchmark上的可解释性进行检验。扰动模型自身推理文本仅引起较小轨迹变化,其影响远小于清空摄像头输入;移除推理中提及的关键物体后,推理与轨迹对场景变化跟踪也不一致。结果表明这些模型给出的驾驶解释与实际行为仅弱耦合,暴露了其可解释性的局限。

  37. arXiv · cs.AI23

    用 TimesFM 时间序列基础模型零样本预测土壤水分与温度

    研究者在半干旱恢复区 27 个传感器站上,零样本评估了 500M 参数的 TimesFM 1 时间序列基础模型,预测 5 cm 与 30 cm 土壤水分及围栏温度,提前期 1 h 至 168 h。结果显示,TimesFM 在日内提前期上比 persistence、seasonal-naive、7-day climatology 等规则基线好 21-76%,超过一天后反而差 6-79%;带完整历史和天气协变量的 CatBoost 基线整体未获胜,部分归因于短期部署的冷启动效应。研究还量化了在普通 CPU 硬件上零样本预测的推理成本。