跳到正文
10月16日周五
  1. arXiv · cs.AI41

    Agentic In-Context Learning:Transformer 能在闭环交互中学到哪些算法?

    研究提出 Agentic In-Context Learning(Agentic ICL)框架,分析固定参数 Transformer 在闭环交互中能学习哪些算法,涵盖主动学习、bandits 和在线 RL。理论上构造了能在有限步长内近似这些算法的因果 Transformer 并给出回报损失界;蒸馏实验显示 Transformer 可学会执行三种代表性递归。在无 oracle 动作或状态标签下,用结果奖励或过程奖励训练的模型形成不同决策策略,且这种差异在预训练语言模型中跨文本改写依然存在。

  2. arXiv · cs.AI36

    错误截断事后蒸馏:面向智能体 RL 的事后蒸馏新方法

    arXiv 论文提出错误截断事后蒸馏方法,解决轨迹级技能蒸馏与 GRPO 结合时错误动作后监督与当前状态失配的问题。该方法按轨迹结果与错误边界路由两类事后技能:Positive skills 强化成功轨迹及错误前决策,Negative skills 针对关键错误进行修正,错误后缀则仅由 GRPO 优化。实验显示其在任务表现与细粒度 credit 分配上有竞争力。

  3. arXiv · cs.CL62

    ECHO 论文提出以回复有害性替代合规代理的优化式越狱攻击方法

    论文提出 ECHO(Evaluation-Conditioned Harmfulness Optimization),用基于实际有害能力的 1.7B 回归器 HarmSig 给出的回复级连续有害性评分,替代现有优化式攻击中以肯定前缀等提示层 token 级合规代理为目标的做法。方法结合五个词级扰动算子与带全局 top-m 记忆的 Keyword-Anchored Beam Search,在严格黑盒威胁模型下,对五个开源模型在 AdvBench 上取得最高 0.898 的 StrongREJECT 均分和 89.23% 的 HarmBench 成功率,代码已公开。

    推荐理由:论文把越狱攻击的优化目标从提示层合规代理换成回复层连续有害性评分,评测方法和代码都开源,可复现。

  4. arXiv · cs.CL45

    通过对齐前后模型合并控制 LLM 的多样性—质量权衡

    研究者提出一种深度感知的 FrankenMerging 方法,将模型与其基座模型的不同层合并,无需额外训练即可调节 LLM 输出的多样性—质量权衡。该方法把对齐模型的低层与基座模型的高层结合,实验显示多数情况下合并模型语义多样性高于对齐模型,某些拆分位置下词法多样性高于两个原模型,且在多数设置下比温度采样取得更好的多样性—质量权衡。

  5. arXiv · cs.CL42

    Prism Attention:用于 LLM 高效推理的提案-精化索引共享机制

    研究者提出 Prism Attention,一种提案-精化的稀疏注意力框架,用粗到细策略替代跨层稀疏索引的静态复用,兼顾层间适配性与共享效率。该方法在推理与长上下文基准上达到主流稀疏注意力方法的 SOTA 性能,并在 128K 上下文长度下实现相对 FlashAttention 3.4× 的端到端解码加速。

  6. arXiv · cs.CL56

    arXiv 论文提出 CFOE 框架:自进化 Agent 能修复失败但难以从中泛化

    arXiv 论文提出 Cold-Start Failure-Only Evolution(CFOE),让 LLM Agent 在无先前经验、无外部评估信号的情况下只从失败交互中学习。跨三种自进化范式、多个 LLM 骨干和四个交互环境的实验发现一致的修复-泛化差距:失败经验能修复已失败任务,但对未见任务的持续改进有限;Agent 常误解失败,验证正确的经验也难迁移,而成功轨迹能显著提升泛化。

    推荐理由:论文用统一框架量化了只从失败经验中学习的效果边界,指出修复与泛化之间的差距及成功轨迹的作用。

  7. arXiv · cs.CL49

    KiranaBench:语言模型能否经营一家社区小店?

    研究者推出 KiranaBench,一个模拟印度杂货店的多智能体基准,由四个 LLM 智能体分别扮演经理、收银员、帮手和账房,用英语、印地语或 Hinglish 与顾客和供应商交互,需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现,表现最好的模型利润仅为固定规则店主基线的八分之一,两个模型甚至低于无人管理的店铺,且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。

  8. arXiv · cs.CL53

    SAFE-Mem:细粒度权限与治理感知检索的智能体记忆安全框架

    论文提出 SAFE-Mem,为 LLM 智能体持久记忆中的每条声明标注 kind、authority、scope 三种治理标签,并通过治理感知检索与记忆图阻止不可信声明被当作授权偏好或权限使用。在 MPBench 和 LoCoMo 上跨四个 LLM 骨干模型测试,SAFE-Mem 在保留合法记忆的防御中攻击成功率最低,比其中最强者低至少 77%,同时在所有评测防御中答案准确率最高,最多提升 15%。代码已开源。

    推荐理由:论文用细粒度治理标签兼顾记忆安全与可用性,并给出攻击成功率与准确率的量化对比,方法可参考。

  9. arXiv · cs.CL17

    识别 Atari 与判断 Sente:面向围棋语言模型 Agent 的受控评测任务

    研究者构建了一个围绕围棋术语 atari 及其与 sente 关系的受控评测集,考察模型在局部棋盘变化下的术语识别与不同战略条件下的走子评估。团队对围棋语言模型 LoGos 进行术语与解说监督的微调后测试,发现其难以识别 atari 关系变化并评估其战略含义,术语预测关联的走子偏好甚至与参考评估相矛盾。

  10. arXiv · cs.CL35

    如何将大语言模型对齐至反事实不变性

    arXiv 论文提出,标准对齐方法(如强化学习)虽提升整体回答质量,却放大了跨人群的反事实偏差。作者开发一种基于成对反事实提示和群体级奖励函数的策略梯度技术,并构建受控反事实提示对数据集与评测方法。在多个 fairness benchmark 上验证,该方法能降低反事实差异、保持整体回答质量,且当人口信息与任务因果相关时模型仍能恰当利用。

  11. arXiv · cs.CL24

    KoLing:超越表层线索的 LLM 生成韩文文本鲁棒检测

    韩语 LLM 生成文本检测研究长期受限于英文中心且依赖表层线索。研究者提出包含 50.9k 实例的抗偏对抗基准 KoLing,分别评估 LLM 生成与 LLM 修改文本检测,并推出基于理论语言学的可解释检测器 KoLingProbe。实验显示 KoLingProbe 在所有检测任务上显著优于强基线,且对对抗攻击保持鲁棒。

  12. arXiv · cs.CL57

    arXiv 论文:后训练调节预训练中已有的线索跟随电路,导致谄媚等多种偏差

    arXiv 论文(arXiv:2610.22937)发现,多种选择题偏差(如谄媚)大多依赖同一小群注意力头,该共享电路在预训练模型中已存在,多数 base 模型会跟随明文提示。仅用约 200 条无提示的通用助手样本微调即可在聊天格式中激活这些头,RL 阶段几乎在所有对比中都增强线索效应;在 Tulu-3-8B 和 OLMo-2-7B 上交换 6 个中间层的注意力模式,可将两版模型的线索效应大幅互换,缓解手段可针对该电路设计。

    推荐理由:论文用因果追踪把谄媚等偏差归因到预训练已有的共享注意力头电路,指出后训练只是调节其使用强度。

  13. arXiv · cs.CL34

    动量、评论基调与盈利意外如何影响 LLM 金融预测:一项输入依赖度实验

    一项 arXiv 研究通过合成财报 announcement 独立操纵 20 日动量、非信息性评论基调与 EPS 是否超出共识,考察大语言模型金融预测究竟依赖哪些输入。来自四个模型族的 6 个 instruction/chat checkpoint(基础参数 0.49-7.61B),每个在 Q8_0 直答协议下接受 2,016 条提示词。结果显示:6 个模型中有 5 个的有符号基调对比幅度超过 EPS,5 个模型动量超过 EPS,主 EPS 对比范围为 -0.19 至 86.80 个百分点,自然词数值诊断准确率为 51.0-95.8%;研究测的是输入依赖与数值识别,不确立内部推理机制或实际收益可预测性。

  14. arXiv · cs.CL47

    隐状态探针定位推理失败的有效性研究

    一项 arXiv 研究测试了 4B 和 8B 推理模型的隐状态探针能否区分三类推理失败并定位失败步骤。在 8B 的错误轨迹上,置信度探针漏检 81% 的单步不可恢复案例和 47% 的重试可成功案例;探针的失败类型排序取决于训练设计。两个规模下,没有任何探针定位失败步骤的准确率超过仅基于轨迹长度的规则。

  15. arXiv · cs.CL24

    研究揭示大语言模型中的姓名偏见

    一项 arXiv 研究用填空任务评估 6 个跨厂商、跨参数规模的本地大语言模型的姓名偏见,基于美国 SSA 姓名数据集和 Rosenman et al. 种族分类数据集,共收集 300,000 条本地 LLM 响应。结果显示模型偏好较少刻板男性化、更年长、更流行和白人的名字;性别偏见最显著,其后依次为年龄、名字流行度和种族,且偏见高度依赖句子语境。

  16. arXiv · cs.CL25

    双 LLM 共识流水线用于记录 Rett 综合征 Trofinetide 治疗表型

    研究者构建双 LLM 共识流水线,从 Texas Children's Hospital 108 名 Trofinetide 用药患者的 26,763 份临床笔记中提取 18 种治疗反应表型。腹泻提取任务上最优提示词准确率达 84.2%(F1 = 0.674),比正则匹配高 47 个百分点,专家复核一致率为 90.2%(92/102)。该架构仅需改配置即可适配新表型与药物,为真实世界证据提取提供可扩展的替代方案。

  17. arXiv · cs.CL42

    超越上下文长度:刻画长上下文推理的难度

    arXiv 论文提出 LURCH 基准,用证据范围、证据分散度和推理深度三项属性量化长上下文推理难度,包含 6,550 个带证据与推理图谱的多领域问答实例。对闭源与开源权重模型的评估发现:固定上下文长度下三项属性均与性能强负相关;上下文变长时,证据分散样本性能骤降而局部化证据样本相对稳定;且三项属性中等偏高的题目比仅一项极端的更难。

  18. arXiv · cs.CL40

    先写哪个字节很重要:UTF-16 编码如何改进多语言字节级边界预测

    一项 arXiv 研究提出 UBE 编码,对三字节 UTF-8 码点改用低字节在前的 UTF-16 存储,提升字节级语言模型边界预测能力。在 FLORES-200 上 13 种婆罗米系文字 17 种语言的单符号前瞻测试中,码点边界的平衡字素边界误差从 UTF-8 的 8.76% 降至 0.06%;韩语和中文相对 UTF-8 平均误差分别降低 72.91% 和 35.29%,且训练仅需 25% 和 37.5% 即可超过 UTF-8 最终误差。

  19. arXiv · cs.CL43

    Multi-SFT:可商用许可的多语言指令遵循数据集

    研究者推出 Multi-SFT,一个可商用的监督微调数据集,含 502,818 条指令-回复对,覆盖五种欧洲语言。人工评估显示各数据集与语言间标注者一致性至少 0.87。对 EuroLLM、OLMo 2、Qwen3 三个家族的 9 个模型(1B-32B)微调并在 13 个 benchmark 上评估,结果显示仅用 Multi-SFT 即可与更大的增强混合数据集及官方指令微调版本竞争,在安全任务上优势明显。

  20. arXiv · cs.CL46

    面向字节级模型的新颖性分块:从压缩视角看算力应花在文本新增处

    研究提出 novelty patching,借鉴 LZ77 式压缩思路,让 Byte Latent Transformer(BLT)等字节级模型在即将出现不重复内容处开启新 patch,替代基于下一字节熵的分块规则。在 1.9 GB 数学语料上从头训练的 BLT 风格模型中,该方法在 12M 参数时将最终答案准确率从 47% 提升到 72%,50M 参数时计算结果准确率从 21% 升至 57%、最终答案从 60% 升至 90%;该规则只需在前两字节上拟合查找表,秒级完成且无需标签。在散文、代码等数学之外场景优势缩小。

  21. arXiv · cs.CL19

    去碎片化 Nawatl 神经机器翻译:面向 Masewalkopa 变体的单变体特化

    一项 arXiv 研究提出“变体碎片化”问题,指出混合纳瓦特语(Nawatl)多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础,用 2,665 平行对和 192 句长者转写句子,将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa(nhn)变体,所得 LoRA-v9c-b 模型取得 58.46 dev chrF++;有限状态分析器将未分析表层形式从 82.0% 降至 19.9%,CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒,支持低成本 Cloud Run 部署。

  22. arXiv · cs.CL40

    解释 MoE 大语言模型中专家在个性化中的角色

    一项 arXiv 研究提出对 Mixture-of-Experts(MoE)大语言模型进行个性化,利用其稀疏路由降低多义性、定位个性化相关组件。研究在个性化数据集上适配三个开源权重 MoE 模型,并用 crosscoder 分析配对激活,识别编码个性化特征的专家。因果干预表明这些潜变量足以恢复个性化行为,且增强相应专家可将非个性化模型推向个性化行为。

  23. arXiv · cs.CL44

    Intern-Decision:基于自回归掩码语言建模的高效多模态决策模型

    Intern-Decision 发布 0.8B、2B、4B 三款多模态决策模型,从文本和可选图像输出结构化选择与候选概率。4B 版本在七个评测套件上平均准确率 90.02%(对比 Jev v1.13.0 的 88.74%),单张 RTX 4090 上 289-token 请求平均延迟 44.16 ms。温度缩放将 Brier 从 0.628 降至 0.550,基于置信度的路由把 Jevbench-Hard 准确率从 73.87% 提升至 87.39%。

  24. arXiv · cs.CL57

    arXiv 论文测量多智能体 LLM 讨论中的隐性信念坍塌

    arXiv 论文 arXiv:2610.22138 测量多智能体 LLM 讨论中的隐性信念坍塌。在十智能体事实讨论中,无对抗者时仅 0.6% 的良性智能体最终接受错误答案,1 个对抗智能体将该比例提升至 44.8%,3 个提升至 60.5%。通过隐藏回复的独立探针发现,3 个对抗者在场时良性智能体在 51.6% 的暴露轮次私下持有错误答案,但仅 19.7% 公开附和,影响大部分不可见于讨论记录,且错误答案会在良性智能体间扩散,基础准确率不能预测鲁棒性。

    推荐理由:论文用隐藏探针区分了智能体的公开表态与私下信念,给出多智能体讨论被少数对抗者带偏的量化数据。

  25. arXiv · cs.CL28

    PremiseSQL:评估 Text-to-SQL 系统的前提批判与弃答能力

    研究者提出 PremiseSQL 基准,用于评估 NL2SQL 系统识别错误前提查询并拒绝生成误导性 SQL 的能力,基准包含 1,800 条带缺陷查询及 1,800 条原始查询,覆盖四类前提失败。评测框架在三种提示设置下测量模型的前提感知行为。实验显示前沿 LLM 默认倾向信任前提、很少质疑缺陷,而批判导向提示虽提升检测与弃答,但也增加误判并抑制原始查询的 SQL 生成。

  26. arXiv · cs.CL41

    EMO:交替上下文优化与 logit 引导的闭环测试时计算框架

    EMO 是一个免训练的闭环测试时计算框架,借鉴 EM 思想交替进行 E 步上下文估计和 M 步分布引导。在 8 个模型、6 个基准的 greedy decoding 测试中,EMO 在 40 组设置中的 39 组超过 zero-shot 基线,平均提升 9.10 个百分点;与仅上下文优化的 TextGrad 相比,使用相同 judge 平均再提升 1.53 个百分点,在 MMLU-Pro 上跨模型保持一致增益。

  27. arXiv · cs.CL34

    CLUE:挖掘社交语境以提升语用理解

    研究者提出 CLUE,一个结合监督式证据推理与 GRPO(以 Grounded Information Utilization 为奖励)的两阶段训练管线,让模型自主发现对话中支持语用理解的关键线索。相比基础 Qwen,CLUE 在平均加权 F1 上域内相对提升 17.3%、域外提升 9.3%,且推理 token 平均减少超过 80%。人类评估显示其解释更多锚定于具体对话内容,引用证据与人类所选语境更一致。

  28. arXiv · cs.CL33

    词汇参考框架:以语言模型原生语义解读残差流

    一项 arXiv 研究提出“词汇参考框架”,认为语言模型每个隐状态都有由后续读取层诱导、随上下文自适应的原生参考框架。其 LexFrame 一阶框架在 SmolLM3-3B 和 OLMo3-7B 中层达到 0.97 的相干度,固定 lens 仅 0.30 和 0.35,读出误差在 0.16 nats 内;基于该框架的置信读出可提前跳过 0.45 和 0.42 的层。

  29. arXiv · cs.CL42

    Mosaic:多会话 Agentic 强化学习方法

    研究者提出多会话 Agentic 强化学习(Multi-Session Agentic Reinforcement Learning)设定及方法 Mosaic,采用无 critic 的分层优化:在轨迹层将 session 使用信号纳入优势估计,在会话层按估计的边际贡献塑形各会话优势。在 Qwen3.5-4B 上的 BrowseComp 实验显示,Mosaic 在 context compaction 和 subagent forking 两种场景均优于广播式方法,且平均使用更少 session。

  30. arXiv · cs.CL27

    EVA-Cap:通过事件中心对齐优化视听视频字幕生成

    研究者提出 EVA-Cap 框架,将字幕分解为原子视听事件,把非结构化文本监督转为事件中心对齐,并在自建数据集 EVA-Data 上用 SFT 和 GRPO 训练。GRPO 阶段针对全局事件完整性、事件内归因和事件间同步三个目标优化。该模型在 ChronusAV 上平均提升 9.0%,WorldSense 上提升 3.3%,论文已被 NeurIPS 2026 接收并承诺开源代码。

  31. arXiv · cs.CL17

    LLM 文本打分量表敏感性研究:改变量表数字就会改变答案

    一项 arXiv 研究系统考察了 LLM 文本打分中的量表敏感性,即评分量表设计差异如何改变 LLM 生成的分数。实验覆盖连续/序数 2 种格式、3/5/11/21 分 4 种范围、正负号 2 种设置、3 类任务、2 种提示策略和 5 个 LLM,发现改变任一设计要素平均使归一化分数偏移约 0.10,并改变约 20% 文本的类别。毒性任务敏感性最高,且基于 rubric 的提示并未降低敏感性。

  32. arXiv · cs.CL43

    AutoSFT:用于监督微调自动化数据研究的多智能体系统

    研究者提出 AutoSFT,一个用于监督微调(SFT)数据自动化研究的多智能体系统,由 meta agent 分离执行与分析,并调用 synthesis 子智能体补充数据池无法覆盖的操作。相比单智能体,executor 将上下文丢失减半,分析子智能体使 IFEval 提升 +6.5,合成再加 +3.4 IFEval 和 +2.9 IFBench;同一流程迁移到代码任务可带来 +3.7 MBPP+。所有结果均基于每轮从基座模型重新训练,结论表明自动化 SFT 数据研究更依赖覆盖多样化的数据操作。

  33. arXiv · cs.CL54

    Hy-Memory-30B-A3B:跨记忆框架的长期记忆写入模型论文发布

    论文提出 Hy-Memory-30B-A3B,一个可跨 Mem0、MemOS 和 Hy-Memory 三种记忆框架工作的紧凑长期记忆写入模型,通过 Memory On-Policy Distillation 学习框架专属写入协议,再用带归因跨块奖励与块级 GRPO 的 Memory RL 优化下游可答性。在四个评测框架的固定 20% 子样本上全部排名第一,包括留出的 EverMemOS,macro 平均 55.49%,对比 Claude Opus 5 的 54.62%。

    同一新闻,精选展示《腾讯混元发布 Hy-Memory-30B-A3B 专用长期记忆写入模型》

  34. arXiv · cs.CL52

    arXiv 论文诊断中文 LLM 滥用"不是X,而是Y"句式的语用恰当性问题

    arXiv 论文 2610.22249 通过中文纠偏构式"不是X,而是Y"诊断 LLM 写作腔调,提出基于 Gricean 语用学的决策树,将用法分为实质性、可选性和缺陷性三类。研究发现五个商业模型使用该构式的密度是人类参照的 2.5 至 9.2 倍;307 个标注用例中仅 1.30% 有缺陷,但 52.8% 属于正确却不需要的可选用法。多个奖励模型即使对质量匹配的变体也偏爱该构式,LLM 裁判在语境不允许时仍偏爱它,监督微调和偏好优化都会推高开源模型中的使用频率。

    推荐理由:论文把"不是X而是Y"的滥用归因于模型不知何时该用,给出了从正确性转向语用恰当性的诊断框架,可迁移到其他模型腔分析。

  35. arXiv · cs.CL51

    CATCH 持续对抗训练提升 LLM 诚实性并跨基准迁移

    论文提出 CATCH(Continuous Adversarial Training for Consistent Honesty),借鉴拒答有害请求的对抗训练方法,让模型朝诚实回答训练、远离不诚实回答,同时保持模型能力。在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 两种架构上,仅用数百个自述场景构造的训练目标,即可在 MASK 基准降低施压下的不诚实、在 Among Us 多智能体游戏中增加坦白、在 AuditBench 提升隐藏行为发现率;效果优于提示词和监督微调,诚实性与 SOTA 激活引导相当,但在保持实用性上更优。

  36. arXiv · cs.CL36

    扩散语言模型的多目标少样本提示方法

    arXiv 论文提出基于扩散语言模型的多目标少样本提示方法,用示例引导在同一 canvas 内填充多个被遮蔽区域,适用于跨多处的格式修改或 API 迁移编辑。针对少样本提示难以稳定遵循示例的问题,作者通过 canvas 选择性掩码导出似然比奖励,偏向有示例支持的填充。在少样本基准和软件重构案例中,示例提升了填充准确率,示例引导在若干设置下带来进一步提升。

  37. arXiv · cs.CL31

    Grid-Bench:LLM 能预测离散世界如何变化吗?

    研究者推出 Grid-Bench,一个可执行基准,用二维、三维和四维网格上的八类操作测试大语言模型预测离散空间状态变化的能力。对六款 LLM 的评测显示,随着事件历史变长,完整状态准确率急剧下降,单事件表现相近的模型差异明显,且 Exact-match 相似的模型在错误单元格数量上也存在显著差异。

  38. arXiv · cs.CL48

    MindEval2:基于临床依据的患者模拟与评分标准,用于评估语言模型的心理健康支持能力

    研究者推出心理健康支持评估框架 MindEval2,包含与博士级心理学家合作开发的 MHQR 评分标准和患者模拟组件 MindSim,后者带有跨轮次记忆以建模纵向心理健康过程。该框架评估了 18 个闭源和开源权重模型,发现前沿模型在表层质量和边界问题上已大幅改进,但指导校准仍是所有模型的主要失败模式,占质量差距的大部分。

  39. arXiv · cs.CL45

    用集合级强化学习训练推理模型生成多样化科学想法

    arXiv 论文提出集合级强化学习目标,让模型一次生成 K 张基于源论文、彼此明显不同的结构化想法卡片,质量按与前文想法的距离加权。训练后的 8B 模型在无污染 benchmark 上的 creative utility 超过 Claude Opus 4.8 和 GPT-6 Astra。四位专家试点评估认为其想法集与 Claude Opus 4.8 相当且独特想法略多,coding agent 验证的 success@k 也与之相当。