跳到正文
10月15日周四
  1. arXiv · cs.CL33

    AFFIRM:修复文本更新后语音模型知识访问的冻结仿射场方法

    论文提出 AFFIRM(Affine Fields for Interface Repair across Modalities),在知识检查点冻结的前提下,通过先学习并冻结基础修正、再叠加查询级修正的可拆卸算子,单次前向修复语音访问。在 PopQA 平衡合成语音上与 SALSA、低秩 ReFT 相比未显出明确优势;在 SLUE-SQA-5 录音问题上,PopQA 拟合的 AFFIRM 算子免重训迁移,ROUGE-L 较 No Repair 基线提升 0.0941。

  2. arXiv · cs.CL34

    Anuvani-Diarization:跨 22 种语言的零样本说话人日志与标注规范研究

    Anuvani-Diarization 在 IndicDiarBench 上覆盖印度 22 种官方语言的零样本说话人日志任务,通过不确定性感知的 silver 监督适配自监督端到端分割模型。在 1,164 条录音上 duration weighted DER 达 16.78%,为所测系统最低,仅次于已发表最佳结果 16.0%,并在 22 种语言中的 14 种领先三个最强对手。研究还发现 utterance 级标注规范这一隐藏变量影响 1.9 至 4.1 个 DER 点。

  3. arXiv · cs.CL56

    TreeFlex 论文提出让 Agent 自主导航搜索树的框架

    Dongzhuo Li 等人在 arXiv 发布 TreeFlex 框架,让 Agent 用单个模型以 Reflection 和 Execution 两个角色自主决定在搜索树中深化、分支、回溯或验证,摆脱单一上下文里陈旧信息挤占容量的限制。导航、任务动作、检查点与提案审核通过树感知改造的 GRPO 联合训练。4B 模型经小规模 RL 后在深度研究基准达 48.8% 准确率,高于 flat ReAct 的 41.5% 和 FoldAgent 的 42.8%,Pass@8 高出约十分;9B 模型在 SWE-bench Verified 解决 54.9% 任务,高于 FoldAgent 的 43.3%。论文链接 https://arxiv.org/abs/2610.20334v1

    推荐理由:论文给出 TreeFlex 与 ReAct、FoldAgent 在相同上下文限制和相同起点模型下的对照数据,可比较搜索树导航带来的具体提升。

  4. arXiv · cs.CL42

    AI 智能体会八卦吗?人类与 AI 智能体在线社区中的评价性话语研究

    一项 arXiv 研究对比了 AI 智能体社区 Moltbook 与台湾大型人类论坛 PTT 上的八卦(对缺席第三方的评价性谈论)。结果显示智能体社区同样存在八卦,但流行度比人类低 2.6 至 6 倍;含可编码回复的帖子中,人类帖子出现质疑的比例为 65.1%,智能体仅 21.3%,且早期附和后共识在 83.6% 的智能体帖子中不再受挑战(人类为 44.7%)。这表明智能体社区复现了八卦的信息维度,其关系功能是否相当仍无定论。

  5. arXiv · cs.CL42

    研究发现 AI 智能体社区词汇流行但缺乏长期语义结构

    一项 arXiv 研究用 CADE 嵌入对比 MoltBook(AI 智能体社区,8 周)、PTT(19 年)与 Reddit 的语义演化,发现 MoltBook 的 B1 语义漂移约为人类平台 2 倍、B2 邻域稳定性低 20-30%,且 lag-1 自相关不显著(p=0.41),而成立仅 8 周的 r/vibecoding 已呈显著自相关(0.082,p<.001)。结果表明词汇扩散本身不保证历时语义固化。

  6. arXiv · cs.CL33

    面向可解释波斯语仇恨言论的多跳推理基准发布

    研究者推出一个细粒度多跳推理基准,用于可解释的波斯语仇恨言论分析,涵盖内容分诊、目标识别、仇恨策略与道德基础分析、文本证据抽取、有害叙事推断和严重度评估。评测显示 LLM 性能随任务语义与推理粒度加深而下降,专有模型整体优于开源权重模型,推理型模型无一致优势;引入中间推理步骤显著提升严重度预测,且“煽动暴力或伤害”与更高严重度关联最强。基准已公开可用。

  7. arXiv · cs.CL44

    FOLD:面向长上下文投机解码的无位置远端记忆方法(arXiv 论文)

    arXiv 论文提出 FOLD,一种免训练的长上下文投机解码方法,保留精确局部位置并将远端条目作为共享位置的远端记忆处理,通过锐化注意力缓解注意力稀释。在六组 target-drafter 组合、最长 256K tokens 的基准上,FOLD 多数情况取得最高加速,最佳案例将相对自回归解码的加速从 2.08× 提升至 4.22×。

  8. arXiv · cs.CL54

    Cortex:将上下文固化为参数化记忆的记忆巩固方法

    arXiv 论文提出 Memory Consolidation 框架,将上下文带来的增益内化为参数记忆,同时保持非目标能力,并统一了上下文编辑、技能学习与行为引导三类任务。配套提出 Cortex 方法,通过生成前瞻性查询预测上下文用途,并将上下文条件输出蒸馏为可合并的低秩或结构化前馈网络更新。在 4B 至 120B 的稠密与 MoE 骨干(含纯文本与多模态模型)上,Cortex 在多数评测设置中处于巩固-保留 Pareto 前沿;对 14B 模型做 50 次连续事实编辑后,Cortex-Structural 恢复 88.9% 的上下文增益,同时保留 99.8% 的原始非目标性能。

    推荐理由:论文给出了跨 4B 到 120B 多种骨干的实测数据,包括 50 次连续编辑后 88.9% 增益恢复与 99.8% 非目标保留率。

  9. arXiv · cs.CL53

    arXiv 论文评测 DeepSeek-V4-Flash 与 GLM-5.3-Flash 在网络威胁情报实体抽取中的失败模式与置信度信号

    arXiv 论文(arXiv:2610.20417)对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测,发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94,旗舰模型也未消除差距。主要失败不是幻觉:抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口,仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛,但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断,结论是置信度分层只能用于排定复核优先级,不能当真值。

    推荐理由:论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成,发现主要问题不是幻觉而是背景提及,并给出置信度分层的部署边界。

  10. arXiv · cs.CL28

    分析 RAG 模型在问答任务中的性能表现

    一项 arXiv 研究分析 RAG 模型在开放域问答任务中的表现,重点考察南亚多语言场景下检索机制对答案质量的影响。研究比较了 RAG 与非上下文、上下文回答的性能差异,并检验 RAG 对文化类与非文化类、热门与非热门文化问题的收益是否不同,以提炼优化混合 RAG 系统的关键因素。

  11. arXiv · cs.CL52

    arXiv 论文提出 COUNT 方法:用 n-gram 计数扩展主机内存并实现免训练适配

    arXiv 论文(arXiv:2610.20456)提出 COUNT(Counting Offline Unlocks N-gram Transformers),通过在主机内存存储预计算的 n-gram 计数构建 n-gram 嵌入,不增加可学习参数。在固定算力预算下,将 COUNT 作为额外输入嵌入用于预训练 1B 参数语言模型,验证损失的改善相当于多花 57% 算力;GPU 内存受限时,让骨干参数占满 GPU 的效果优于与可学习 n-gram 嵌入分摊内存。推理时还可换用领域语料的 n-gram 计数表,无需训练即可适配新任务。

    推荐理由:论文给出把 n-gram 计数存到主机内存的免训练适配方案,并量化了固定算力下的验证损失收益。

  12. arXiv · cs.CL34

    GPT-5.4 智能体如何解读科学论断中的歧义:arXiv 论文提出 Claim Cards

    arXiv 论文提出 Claim Cards,在收集证据前将验证智能体对科学论断的解释记录为九个字段,并标注为 stated、inferred 或 default。在 60 条材料科学与生物医学专家标注论断上对 GPT-5.4 智能体共进行 900 次运行,冻结卡片中单个字段被刻意修改后,约三分之一的论断判定被改变,而随机预期约为七分之一(p < 0.001)。卡片使每次运行的 GPT-5.4 token 与时间增加约十分之一,但与专家标签的一致性没有可测变化。

  13. arXiv · cs.CL34

    MolLean:面向化学推理的过程可验证语言

    研究者提出 MolLean,一种基于 Lean 内核的过程可验证语言,将化学链式推理锚定在显式分子状态上,可检验状态转换与分子断言,并配套提供有状态工具接口 MolLean-MCP。在覆盖分子生成、编辑、优化与反应的 12 个任务、8800 个匹配样本上,Qwen3.6-27B 的全轨迹精炼模式在全部 12 个任务上优于直接链式推理,MolLean-MCP 则在反应任务上表现更佳。

  14. arXiv · cs.CL39

    semCER:按错误严重程度加权的 OCR 字符错误率指标

    研究者提出 semCER,在保留 CER 对齐与分母的基础上,由 LLM judge 为每个字形编辑赋予严重度权重,无需分词。该指标在英语、越南语、中文上逐编辑追踪读者评分,并在 CER 与 semCER 分歧的样本上更常获得读者支持;团队发布了 6100 万条 judged edits、汇总读者评分及蒸馏后的 scorer。

  15. arXiv · cs.CL42

    ChronoCulture:评估大语言模型跨时间文化感知能力的基准

    研究者推出 ChronoCulture 基准,基于 72 个国家的纵向调查数据构建 10,360 个时间配对,以人口回答分布为真值评估 LLM 的文化感知。在六个 LLM 上的测试显示,模型能预测某国某时点的态度,但难以捕捉态度随时间的变化,不同年份的预测结果趋于接近;在提示词中指定年份也几乎无改善。

  16. arXiv · cs.CL34

    翻译中的迷失:为什么更低的偏见分数不代表模型更公平

    一项 arXiv 研究审计了 10 个开源模型在 8 种语言下的刻板印象偏见,发现全部 70 个模型-语言组合的平均偏见分数都低于英文水平,但低平均分并不等于更公平:同一测试项的英文分数与其翻译后分数的相关性仅 0.23(忠实翻译为 0.27),远低于英文改写间的 0.48。研究还指出三种会悄悄抹除偏见信号的常见流水线错误,并开源了代码。

  17. arXiv · cs.CL34

    ReaDy:用循环状态作为动态上下文加速混合线性注意力大语言模型推测解码

    ReaDy 是首个利用混合线性注意力(HLA)模型循环状态进行推测解码中按位置上下文检索的方法,通过可学习查询和轻量 state reader 补充草稿上下文。基于 DSpark 框架,在数学、代码、对话七项基准上,ReaDy 配合 Qwen3.8-27B 在单张 NVIDIA B200 上实现平均 3.16× 解码加速,较 DSpark 吞吐量平均提升 7.97%、接受长度提升 8.50%。代码已开源。

  18. arXiv · cs.CL43

    VASPO:基于特权价值估计的自蒸馏策略优化方法

    VASPO(Value-Augmented Self-Distillation Policy Optimization)在 PPO 框架内整合自蒸馏与特权价值估计:critic 从预测续写回报计算 token 级优势,自教师通过有界概率比调制部分正优势。在六个数学推理 benchmark 上,VASPO 在 Qwen3-4B 和 OLMo3-7B 上分别比 PPO 平均准确率提升 2.59 和 1.81 个百分点,并在 Knights and Knaves 上取得评测方法中的最高平均准确率。代码已开源。

  19. arXiv · cs.CL58

    PrismaCoder:基于分解式评分标准合成的开源多模态代码模型发布

    Qiushi Sun 等人在 arXiv 发布论文,提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准,同一 rubric 既筛选监督语料又驱动强化学习;据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集,两个模型在开源中大幅领先并接近闭源系统,代码与数据已开放。

    推荐理由:论文把渲染正确性拆成可核查的评分标准,同一套 rubric 既筛数据又当强化学习奖励,方法可迁移到其他多模态任务。

  20. arXiv · cs.CL41

    PerSo:在真实说服场景中考察 LLM 社会智能的各个维度

    arXiv 论文提出 PerSo 基准,基于 Reddit ChangeMyView 的真实说服对话,用 LLM-in-the-loop 流水线构建评测任务并经人工标注验证,同时评估 LLM 的认知智能与行为智能。对多个 LLM 的评测显示,性能总体随模型规模提升但在不同维度表现不一:最强模型在行为任务上略超最佳人类,而认知任务上最佳人类参与者仍领先。

  21. arXiv · cs.CL57

    arXiv 论文提出让 LLM 智能体学会遗忘以扩展自动科研发现

    arXiv 论文《Scaling Discovery Requires Forgetting》提出,LLM 智能体自动科研的三种扩展策略(单智能体长迭代、并行、并行通信)都会因历史累积而停滞,智能体被自身过往尝试锚定,编辑越来越少且越来越小。论文的方法是周期性丢弃搜索状态(包括各智能体会话与候选历史),从当前最优候选重启搜索。在启发式编程、kernel 优化和模型训练四类任务上,相比并行智能体最高提升 15%,相比单智能体最高提升 39%。论文链接:https://arxiv.org/abs/2610.20563v1

    推荐理由:论文指出 LLM 智能体自动科研随历史累积而停滞,提出定期丢弃搜索状态重启,在四类任务上给出量化对比。

  22. arXiv · cs.CL56

    Manacá-1B-Instruct-2 发布:巴西葡萄牙语模型的可复现安全对齐与 DPO 负结果

    Bruno Menezes 在 arXiv 发布 Manacá-1B-Instruct-2,对从零训练的 1.72B 参数巴西葡萄牙语模型 Manacá-1B 做第二代后训练对齐,SFT 语料含 291,223 条样本。论文记录三次 DPO 尝试均为负结果,包括训练 reward margin 达 1.0 但自由生成毫无变化的情况;安全性来自经三轮迭代的安全 SFT,安全 SFT 中通用数据占比从 10% 到 60% 的受控扫描显示过度拒绝曲线非单调,拐点在 40-50%。最终模型与四个外部 PT-BR 模型对比,采用 Wilson 置信区间和带 Holm-Bonferroni 校正的配对 McNemar 检验,其安全区间下界 94.1% 高于全部四个基线的上界。

    推荐理由:论文完整记录了三次失败的 DPO 和安全 SFT 数据配比扫描,还披露了 LLM 评审静默拒打分的方法学问题,可复现细节齐全。

  23. arXiv · cs.CL42

    CIPR:跨接口一致性训练提升 LLM Agent 鲁棒性

    一项 arXiv 研究提出 Cross-Interface Policy Regularization(CIPR),一种自监督目标,通过让策略在两个等价接口下动作分布的 KL 散度最小化,实现跨接口一致性训练。在 agentic function calling 上,held-out 接口扰动使 post-trained agent 准确率下降近 25%,CIPR 恢复 10.5%,且不影响原接口准确率。

  24. arXiv · cs.CL63

    Latent Compaction:用测试时训练压缩 KV cache 并保持检索精度

    Yingfa Chen 在 arXiv 发布 Latent Compaction 方法,通过测试时训练学习文档级紧凑 KV cache,模型权重全程冻结,训练只用关于文档的通用提示词、不接触下游问题与答案。在 RULER 上 32 倍压缩达到 96.7% 准确率,对比 KVZip+ 的 40.0%;在 RULER、LongBench 和 Phonebook Lookup 上均超过预算匹配的压缩基线,并在 Qwen3 与 MiniCPM5 两个模型上取得检索提升。代码已开源。

    推荐理由:论文给出在 RULER 上 32 倍压缩下 96.7% 对 40.0% 的对照数据,可据此评估 KV cache 压缩方法的实际保留能力。

  25. GitHub · 3D 生成新仓库35

    ATAS:以世界状态为中心的智能体视频生成框架开源

    浙江大学等机构团队在 GitHub 开源 ATAS,一个以持久世界状态为中心的智能体视频生成框架。系统将剧本编译为带场景、相机、时间和事件的镜头请求,通过场景记忆与事件记忆支持任意视角重拍,且每个镜头需通过影片审查、配准与状态校验后才更新世界状态。项目基于 Pi3 与 SAM 3 构建,采用 MIT License,几何服务需约 20 GB 显存的 NVIDIA GPU。

  26. arXiv · cs.CL43

    INTACT:在冻结骨干模型上诱导潜在推理

    INTACT 方法用小型外部编码器在冻结骨干模型上诱导潜在推理,以连续 soft-token 替代自然语言思维链,经知识蒸馏训练后再按答案正确性强化。在 1B 到 8B 的四个冻结骨干上,Llama-3.2-3B 的 GSM8K 从 75.8% 提升至 79.3%,Qwen2.5-3B 从 77.6% 提升至 79.7%,单题端到端延迟降低 19%,并在 3B 和 8B 规模上超过所评测的潜在推理基线。

  27. arXiv · cs.CL41

    ATLAS:面向大语言模型文本来源溯源的鲁棒模型作者归属方法

    研究者提出模型作者归属方法 ATLAS,通过源条件文本建模比较文本在各模型下的 likelihood 来识别生成来源,并在 token 级聚合证据。其配套基准 MAABench 覆盖域与版本变化的 OOD 场景,当生成域和模型版本同时变化时 ATLAS 达到 74.27% 准确率,比最强基线高 9.00pp。该方法还可通过测量目标 LLM 最接近哪个源模型来识别知识蒸馏的教师模型。

  28. arXiv · cs.CL51

    PA1-OPD:一步前缀增强的在线策略蒸馏用于语言模型预训练

    Zhenhe Wu 在 arXiv 发布 PA1-OPD 方法,在语料前缀的蒸馏基础上加入学生模型采样一步后的教师反馈,扩展被监督的状态同时保留 next-token 预测与语料路径 KD。在两个持续预训练设置中,全覆盖方式在 C4、PG-19 和 Pile 的每个评测检查点上 held-out cross-entropy 均优于 KD;Stage2 中选取学生 surprisal 最高的 10% 根节点,使相对 next-token 训练的 Macro cross-entropy 增益比 KD 提高 48.85%。论文地址 https://arxiv.org/abs/2610.19601v1。

  29. arXiv · cs.CL43

    PN-Mix:面向长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化

    PN-Mix 是一种针对 RoPE 架构 decoder-only LLM 的混合精度 key cache 量化方法,通过 RoPE 通道对的 attention logit 扰动分析识别显著通道对,在 prefill 阶段一次性分配更高精度并在解码全程复用。2.26-bit 平均精度下,其在推理、代码生成和 AIME 基准上达到与 2.32–2.39-bit 先前方法相当或更好的准确率,且可平滑降至 1.5 bits。

  30. arXiv · cs.CL42

    二十天后复测:预注册实验检验 Gemini 回答中品牌提及预测的持久性

    一项预注册复现实验向 gemini-3.1-pro-preview 发送相同的 162 个请求(英、爱沙尼亚语、芬兰语各 54 个问题),分三波在约十小时内完成,并于 20.3 天后复测。基于九次历史回答的品牌提及率预测取得 Brier 0.0281、log loss 0.126,优于品牌历史(0.104)与总体比率(0.234),且在全部九个问题族中成立(p = 0.0039)。8 小时波中 202 个全票一致的单元在 D1 有 194 个未变、无一反转,表明品牌提及计数具有可操作的持久性。

  31. arXiv · cs.CL41

    GEMMU:多模态 LLM 机器遗忘评测的三大陷阱

    arXiv 论文指出多模态大语言模型(MLLM)机器遗忘评测存在三大陷阱:缺少 heldout 评估区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练真实知识、以及用相同训练设置不公平地比较不同遗忘方法。作者提出基于真实知识的 GEMMU 基准,重新评估代表性遗忘方法后发现显著泛化差距,并挑战了此前基准的结论。

  32. arXiv · cs.CL52

    arXiv 论文提出 Precog-RM:预测 LLM Agent 轨迹成败并提前终止训练

    arXiv 论文(arXiv:2610.19614)提出将 LLM Agent 轨迹视为动作与环境观测共享嵌入空间中的路径,同一任务的成功与失败 rollout 在该空间中可分离,简单判别器在三个 Agent 基准和三个策略模型上预测 held-out rollout 结果最高达 0.95 AUROC。作者进一步推出基于 transformer 的 Precog-RM,通过元学习使结果预测可在 few-shot 设定下泛化到未见任务和模型,并在轨迹终止前给出置信预测。部署为 GRPO 在 Tau2-Bench 上的早停控制器时,最多削减 47.3% 训练 FLOPs 且性能与基线 GRPO 相当。

    推荐理由:论文给出跨三个基准和三个策略模型的 AUROC 数据,并量化了 GRPO 训练最多省 47.3% FLOPs 的收益。

  33. arXiv · cs.CL33

    SAE-IDF:稀疏自编码器成为符号系统间匹配的共享坐标系

    研究者提出 SAE-IDF 方法,用稀疏自编码器(SAE)将符号在其原生上下文中编码为稀疏码,并按稀有度重加权后跨系统匹配。在 6 类符号系统的 12 个任务上,SAE-IDF 使用 Gemma-2-9B 在全部任务上、使用 Llama-3.1-8B 在除一个任务外均优于同模型的稠密基线,最高领先 45 分,且稀疏码每一维都有人类可读含义。

  34. arXiv · cs.CL33

    J-tau:首个完全本地化的日语工具-智能体-用户交互基准

    研究者发布 J-tau,首个公开的日语基准,用于评估在交互式客服场景中使用工具的 LLM 智能体。该基准通过对 tau-bench 进行机器翻译、实体适配和人工审校实现日语本地化,并修复了原 tau-bench 中的无效任务和分数聚合错误两类缺陷。实验显示 J-tau 比简单机器翻译版本产生更少的评估错误。