跳到正文
10月15日周四
  1. arXiv · cs.CL43

    PN-Mix:面向长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化

    PN-Mix 是一种针对 RoPE 架构 decoder-only LLM 的混合精度 key cache 量化方法,通过 RoPE 通道对的 attention logit 扰动分析识别显著通道对,在 prefill 阶段一次性分配更高精度并在解码全程复用。2.26-bit 平均精度下,其在推理、代码生成和 AIME 基准上达到与 2.32–2.39-bit 先前方法相当或更好的准确率,且可平滑降至 1.5 bits。

  2. arXiv · cs.CL42

    二十天后复测:预注册实验检验 Gemini 回答中品牌提及预测的持久性

    一项预注册复现实验向 gemini-3.1-pro-preview 发送相同的 162 个请求(英、爱沙尼亚语、芬兰语各 54 个问题),分三波在约十小时内完成,并于 20.3 天后复测。基于九次历史回答的品牌提及率预测取得 Brier 0.0281、log loss 0.126,优于品牌历史(0.104)与总体比率(0.234),且在全部九个问题族中成立(p = 0.0039)。8 小时波中 202 个全票一致的单元在 D1 有 194 个未变、无一反转,表明品牌提及计数具有可操作的持久性。

  3. arXiv · cs.CL41

    GEMMU:多模态 LLM 机器遗忘评测的三大陷阱

    arXiv 论文指出多模态大语言模型(MLLM)机器遗忘评测存在三大陷阱:缺少 heldout 评估区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练真实知识、以及用相同训练设置不公平地比较不同遗忘方法。作者提出基于真实知识的 GEMMU 基准,重新评估代表性遗忘方法后发现显著泛化差距,并挑战了此前基准的结论。

  4. arXiv · cs.CL52

    arXiv 论文提出 Precog-RM:预测 LLM Agent 轨迹成败并提前终止训练

    arXiv 论文(arXiv:2610.19614)提出将 LLM Agent 轨迹视为动作与环境观测共享嵌入空间中的路径,同一任务的成功与失败 rollout 在该空间中可分离,简单判别器在三个 Agent 基准和三个策略模型上预测 held-out rollout 结果最高达 0.95 AUROC。作者进一步推出基于 transformer 的 Precog-RM,通过元学习使结果预测可在 few-shot 设定下泛化到未见任务和模型,并在轨迹终止前给出置信预测。部署为 GRPO 在 Tau2-Bench 上的早停控制器时,最多削减 47.3% 训练 FLOPs 且性能与基线 GRPO 相当。

    推荐理由:论文给出跨三个基准和三个策略模型的 AUROC 数据,并量化了 GRPO 训练最多省 47.3% FLOPs 的收益。

  5. arXiv · cs.CL33

    SAE-IDF:稀疏自编码器成为符号系统间匹配的共享坐标系

    研究者提出 SAE-IDF 方法,用稀疏自编码器(SAE)将符号在其原生上下文中编码为稀疏码,并按稀有度重加权后跨系统匹配。在 6 类符号系统的 12 个任务上,SAE-IDF 使用 Gemma-2-9B 在全部任务上、使用 Llama-3.1-8B 在除一个任务外均优于同模型的稠密基线,最高领先 45 分,且稀疏码每一维都有人类可读含义。

  6. arXiv · cs.CL33

    J-tau:首个完全本地化的日语工具-智能体-用户交互基准

    研究者发布 J-tau,首个公开的日语基准,用于评估在交互式客服场景中使用工具的 LLM 智能体。该基准通过对 tau-bench 进行机器翻译、实体适配和人工审校实现日语本地化,并修复了原 tau-bench 中的无效任务和分数聚合错误两类缺陷。实验显示 J-tau 比简单机器翻译版本产生更少的评估错误。

  7. arXiv · cs.CL39

    DGS-WM:面向语言智能体的决策引导选择性世界建模方法

    DGS-WM(Decision-Guided Selective World Modeling)是一种面向语言智能体的策略-世界建模协同训练方法,通过决策引导的观测筛选和置信度自适应加权,仅对具有决策价值的观测单元施加世界建模监督,并与 RL 损失联合优化。在单跳/多跳问答和交互式网页任务等多项 benchmark 上,该方法在不同模型规模和 RL 算法下均取得一致提升,表现优于全观测世界建模方法。

  8. arXiv · cs.CL43

    面向类型化决策模型的选择性推理:何时开始、读取与停止

    研究在冻结的 Qwen3.5-4B 骨干上训练共享候选答案读取器,统一直接决策与按需可中断推理,通过 benefit gate 启动推理、自然状态触发显式读取、熵规则接受答案并取消生成。在 ProofWriter、LogiQA 2.0 和 ARC-Challenge 共 768 道题上,准确率从直接读取的 70.96% 升至 84.38%;相比 512-token 终端读取提升 7.29 个百分点、平均输出开销仅增 2.25%,相比 1,024-token 终端读取流水线时间下降 46.30%。

  9. arXiv · cs.CL52

    SRP-SFT:通过选择性边距保持改进监督微调

    论文提出 Selective Rank-Preserving SFT(SRP-SFT),用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系,并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中,三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT;种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%,四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。

    推荐理由:论文给出 SRP-SFT 的可行域刻画与多种子实验数据,读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。

  10. arXiv · cs.CL53

    SYNC:无需训练即可实现跨语言模型间的事实通信

    Xin Li 在 arXiv 发布 SYNC(Symbol-Indexed Neural Communication),一种免微调、免学习翻译器的词索引接口,让异构语言模型通过共享词表索引交换事实。发送方仅凭描述从共享词表选词并发送索引,接收方用自己的词方向向量将事实写入隐藏状态;在 3 个发送方与来自 5 个模型族的 9 个接收方上,新场景四问成功率 72.0-98.3%,最高比中层写入高 96 个百分点,两个最大接收方与纯文本持平;任务无关探针提前预测可用写入深度 45/45 命中,新布局下逐条事实消息保持 89.6-100% 成功率。项目页、代码与数据已公开。

    推荐理由:论文给出跨架构模型间免训练通信的具体接口设计和多组收发模型组合的实测数据,方法可复现且代码数据已开放。

  11. arXiv · cs.CL30

    BANGLAPLAN:孟加拉语约束规划与决策基准发布

    BANGLAPLAN 基准发布,包含 1,000 道基于孟加拉国日常生活的约束规划与决策题,覆盖 10 个任务族、4 种语域和 8 种结构化 JSON 答案类型。评测 11 个开源与闭源模型配置显示:GPT-6.1 Sol 达 98.7%,Qwen3.5-27B(thinking)达 80.3%,直答配置最高仅 30.9%,11 个中 7 个低于恒答 infeasible 基线;难题主要降低规划构建准确率,不可行性检测更稳健。

  12. arXiv · cs.CL48

    RouteWeaver:将模式选择与执行统一进单一 LLM 路由框架

    RouteWeaver 是一个统一 LLM 路由框架,将单轮、多轮与 agentic 路由模式整合进单一策略,联合学习模式选择与模式内模型执行。其配套的 COMET-GRPO 训练方法将优势信号解耦到两个决策层级,并引入渐进式探索。在数学、代码、知识、逻辑推理与事实召回评测中平均准确率达 61.4%,较最强基线相对提升 11.03%,并在全部五个领域超越所有对比基线。

  13. arXiv · cs.CL29

    ReSemReason:面向生物医学多跳问答的关系语义推理框架

    arXiv 论文提出 ReSemReason,针对知识图谱生物医学多跳推理中“可达但无效”的问题,即答案可达但证据路径无法支持所需关系组合。该方法在候选发现与证据选择间共享问题诱导的类型化有向关系 schema 分布,并用 ReSemAttn 进行关系条件化的注意力建模。在 BioHopR、PrimeKGQA 和 MedReason 上的实验显示答案排序与答案集质量均有提升。

  14. arXiv · cs.CL45

    Qwen-MT-Lumen 参加 WMT2026:基于质量感知训练与在线蒸馏的指令专用翻译

    阿里团队推出开源翻译模型 Lumen,参加 WMT 2026 通用机器翻译任务,专注满足术语、风格和结构化输出等细粒度指令要求。模型基于 Qwen3-14B,采用四阶段流程:继续预训练与监督微调、将 M²PO 扩展为在线偏好优化、从更大教师模型做 on-policy 蒸馏,以及结构感知推理与修复。在 23 个翻译方向上,按 1–5 分 LLM-judge 评分取得 4.60 的总体均分,表现与领先闭源系统相当。

  15. arXiv · cs.CL45

    似然不等于作者身份:AI 辅助写作中的人类贡献能否被可靠测量?

    arXiv 论文指出,基于提示词预测性的 AI 写作人类贡献度量可被轻易操纵:让模型复制提示词中的随机 ID(SPECIFICITY PADDING)即可使分数大幅波动,同一篇文章可被判定为 85% 或 15% 人类撰写。在 3.8B 至 753B 参数的多款 LLM 及新闻、科学摘要文本上均验证了这一现象,且仅凭 transcript 的方法在最坏情况下误差达一半贡献。

  16. arXiv · cs.CL58

    arXiv 论文实测智能体强化学习中的自蒸馏:十种方法无一稳定超越 GRPO

    arXiv 论文 2610.19789 在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 四个环境、三种模型规模上,将十种代表性自蒸馏方法与 GRPO 直接对比,共 132 次训练、累计 12,124.4 H800 GPU 小时,并对预训练骨干和全部十一个训练后方法在八个 rollout 种子上重复评测。结果显示没有方法能在所有设置下稳定超越 GRPO,最终性能好可能掩盖训练不稳定,额外训练成本也不必然带来更好表现。

    推荐理由:论文用 132 次训练、1.2 万余 GPU 小时直接对比十种自蒸馏方法与 GRPO,指出最终分数可能掩盖训练不稳定。

  17. arXiv · cs.CL55

    JetSpec++ 论文提出前瞻并行草拟与自修正的推测解码方法

    UC San Diego 等机构在 arXiv 发布 JetSpec++,通过块内自修正、块间前瞻草拟和草拟与验证流水线重叠,将草拟的边际耗时降到接近零。相比自回归解码最高加速 7.45 倍,相比 DSpark 最高 1.54 倍,在 GB200 上单请求达每秒 1,361 token,七个基准平均接受长度 8.94,且保持目标模型输出分布。代码与模型已开放。

    推荐理由:论文给出 JetSpec++ 的三个组件和与 DSpark、自回归解码的加速对比数据,读者可据此评估该推测解码方案的适用性。

  18. arXiv · cs.CL58

    AGORA 框架研究社会脚手架如何塑造自演化多智能体系统

    arXiv 论文提出 AGORA 框架,独立变化团队构成与相互依赖结构(协作、从众、竞争)来研究自演化多智能体系统(MAS)的演化。在网页搜索、代码库理解与文档问答任务上发现:仅演化很少带来提升,合适的脚手架最多比单独演化的强智能体高出 25 分;其机制是把权威移交给最有能力的成员、其余成员退居辅助,且该成员在团队中成长后优于同一模型单独使用。

    推荐理由:论文用 AGORA 框架把团队构成与依赖结构拆成独立变量,给出社会脚手架影响多智能体自演化的实验数据。

  19. arXiv · cs.CL55

    Delta Tokenizer 论文提出会话增量分词与分段并行方案加速长 Prompt 推理

    arXiv 论文 2610.19801 提出 Delta Tokenizer,一个只对会话请求增量部分做分词的 CPU 前端,并支持长请求的多核分段并行编码,输出与参考分词器完全一致。增量路径比 Hugging Face 参考分词器快约 40x,16 核下分段并行比串行快 8.2x、比 LoPT 快 1.6-2.1x;接入 SGLang 后 100K tokens 时中位 TTFT 降低 59%,Agent 会话 P99 TTFT 在负载下降低 9.5x、长请求占满前端时降低 23x。增量路径与快速编码器已在 toktier 仓库开源,分段并行路径、CPU 池调度器和 SGLang 适配器将在同一仓库发布。

    推荐理由:论文给出了与 Hugging Face 参考实现和 LoPT 的具体加速对比,以及 SGLang 内的 TTFT 实测数据,可评估该方案的实际收益。

  20. arXiv · cs.CL50

    模型与用户谁的价值占上风?多轮对话中的推理时价值对齐研究

    一项 arXiv 研究在多轮对话中评估四种基于提示词和激活的 steering 方法,涉及三个模型和两种价值权衡,用 linear probe 追踪对齐情况。结果显示当助手与用户朝相反价值方向拉扯时,符合助手基线偏好的一方往往占上风,早期看似成功的引导效果在几轮后常减弱或反转。研究认为 steering 应在完整对话和双向价值权衡中评估。

  21. arXiv · cs.CL43

    MAPLE:用于 LLM 评估的多轴参数化知识提取框架

    研究者提出 MAPLE 框架,用于刻画激活引导、解码调整、提示词等知识提取增强(KEE)技术如何影响大语言模型的参数化知识提取。该框架在表层、概率和超出采样层面区分答案恢复与破坏等效应,并在 OLMo2、Qwen2.5 和 Llama3 三个模型族上评估了六种 KEE 技术,揭示出各技术间不同的效应与权衡。

  22. arXiv · cs.CL64

    OpenTWBench 发布:面向大语言模型的台湾领域知识评测套件

    Liang-Hsun Huang 在 arXiv 发布 OpenTWBench,一套评测大语言模型台湾领域知识的开放套件,含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据,含 148 科目共 255,854 道四选一题,剔除 2,180 道依赖图片的题目后用 253,674 题计分;后者含 1,696 道关于台湾日常与当代生活的精选题,以冻结的七模型池校准至及格边缘(46.9-74.6%,中位约 54%),leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型,22 个超过该区间上限,最好成绩 91.6%。

    推荐理由:论文用同一批题目量化了评测装置本身对分数的影响,答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。

  23. arXiv · cs.AI18

    AWARE-RG:面向信息物理系统弹性图的抽象感知解释框架

    AWARE-RG 是一个半自动、人在回路中的框架,为信息物理系统(CPS)安全分析师提供按角色、按需知权限定下的弹性路径解释。该框架基于 MITRE ATT&CK for ICS 战术并结合 ICS Cyber Kill Chain 排序,用形式概念分析构建抽象结构;对有效攻击-故障查询可解释物理危害可达性并给出防御建议,对无效查询则定位路径失效的抽象层级并报告阻塞条件作为加固指引。

  24. arXiv · cs.AI51

    HACHIMI-II:从角色扮演转向学习者行为建模以忠实模拟学生

    arXiv 论文提出 HACHIMI-II,将学生模拟重构为对学习者下一步动作的第三人称预测,从学习者历史构建学生模型并推断其当前状态。在三个题目应答数据集上,模拟与真实学生能力的 Wasserstein-1 距离比最强基线小 2.4–8.4 倍;在两个对话数据集上,按相同知识类型、位置和机制复现真实学生错误的频率高 1.8–5.1 倍,消融显示增益主要来自显式学习者状态。论文 18 页 4 图,链接 https://arxiv.org/abs/2610.19654v1。

  25. arXiv · cs.AI54

    arXiv 论文提出 LLM Agent 回复可用性度量并验证两种降低失败率方法

    Yilin Jiang 在 arXiv 发布论文(arXiv:2610.19659),提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中,480 条回复有 54% 不可用,最好的模型失败率仍达 30%,失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43,用第二个模型改写回复可降到 0.36,并经人类标注者盲测确认。

    推荐理由:论文提出可量化的回复可用性指标,并给出追加一条消息或调用改写模型两种降低失败率的做法。

  26. arXiv · cs.AI41

    Med-TrustRouter:面向临床推理的回归安全知识路由方法

    医疗推理 LLM 依赖的外部知识可能过时、被污染或产生幻觉,导致正确答案被改错。研究者构建了覆盖检索证据与推理链的医学知识投毒 benchmark,含七类攻击族,并提出 Med-TrustRouter:在保持求解器冻结的情况下,基于运行时信号逐实例路由知识使用。在七个医疗推理设置中取得 78.9 macro 和 69.2 worst-case 准确率,macro 与最强基线持平,同时显著提升最差情况下限。

  27. arXiv · cs.AI50

    MCAIR:利用内部表示监控并纠正智能体不忠实行为

    研究者提出 MCAIR,一个基于 LLM 内部表示的运行时监控与纠正框架,用于检测智能体完成不忠实行为——即最终报告未如实反映实际执行轨迹。MCAIR 用多步内部表示训练风险感知探针实现在线检测,并通过风险引导的纠正循环促使智能体复查执行历史;同时构建了含步骤级执行轨迹与一致性标注的 ACUD 数据集。实验显示其优于 LLM-as-a-judge 基线并能跨提示与任务泛化。

  28. arXiv · cs.AI49

    Interlock:让长程智能体从局部正确走向任务完成

    论文提出 Interlock 框架,将任务表示为类型化完成图,通过 grounding 边、coupling 超边和 realization 边刻画证据、决策与下游效果间的关系,并编译为可重置工作区、公开请求与评测 rubric。在两个 Qwen3.6 backbone 上用自产轨迹微调后,AutomationBench 任务通过率提升 4.00-4.50 个百分点,JobBench 加权分提升 3.20-6.64 分,Harvey LAB 准则通过率提升 3.89-4.16 个百分点。

  29. arXiv · cs.AI41

    FSPO:面向策略优化的函数空间时序自蒸馏框架

    FSPO(Function-Space Policy Optimization)是一种单策略强化学习框架,将稀疏历史 next-token 分布存为固定时序目标,无需维护常驻教师模型即可实现时序分离,并引入特权分歧校正、可靠性自适应锚定与质量覆盖感知时序记忆。在推理与工具使用 benchmark 上,FSPO 在 5 小时训练预算内平均准确率最高,较最强基线平均提升约 4 个百分点,在 Olmo3-7B-Instruct 上峰值显存从约 70 GB 降至 56 GB。

  30. arXiv · cs.AI42

    加加性估值下连续无嫉妒蛋糕切分问题的 PPAD 完全性证明

    一项 arXiv 研究证明,在归一化有理分段常数加加性估值下,计算完整连续 ε-无嫉妒蛋糕切分是 PPAD 完全的,即使 ε 以一元表示、密度仅取两个相同值且至多六个断点时仍成立,由此精确连续无嫉妒切分同样 PPAD 完全。研究还证明对任意固定整数 c≥1,路径上不可分物品的连续 EFc 分配在加加性估值下为 PPAD 完全,解决了 Goldberg、Hollender 和 Suksompong(JAIR 2020)与 Bilò 等(ITCS 2019)的开放问题。

  31. arXiv · cs.AI34

    ReFormBench:评测大语言模型响应条件化格式纠正稳定性的基准

    ReFormBench 是一个以模型对同一问题的无约束响应作为格式基线、评测大语言模型格式纠正稳定性的基准,包含源自 910 个源问题的 5,000 个三约束测试实例,覆盖 66 种格式化特征。在十个模型上,EMCR 指标介于 34.04% 至 64.72%,最高的三目标纠正估计为 50.02%,合规与纠正得分产生不同排名。在 Qwen3.5-9B 上的提示词实验同时提升了两个指标,代码与数据已开源。

  32. arXiv · cs.AI31

    C3:多轮强化学习中基于置信度的过程监督信用修正方法

    arXiv 论文提出 Confidence-Guided Credit Correction(C³),一种可插拔的局部信用修正方法,解决仅用结果奖励的多轮智能体强化学习中错误行为仍获正优势的问题。C³ 在优势估计后选择性修正正信用,修正强度由行为策略的置信度自适应控制,不改任务奖励与原信用估计。在多个多轮 benchmark 上,C³ 在基于 critic 与无 critic 的 RL 方法下均提升性能。

  33. arXiv · cs.AI43

    RuleTrek:面向复杂场景的智能体规则推理基准

    论文提出 RuleTrek,一个面向复杂场景的多领域智能体规则推理基准,通过规则图谱构建并增量组合子场景,评估规则识别(RI)、规则推导(RD)与端到端规则推理(E2E)三项能力。对 11 个前沿 LLM 的实验显示,RI 与 RD 最高分仅 62.47% 和 60.43%,E2E 得分在 26.97% 至 55.29% 之间,代码与数据集已公开。

  34. arXiv · cs.AI32

    Supermartingale 证书的运行时监控方法研究

    研究者提出针对 supermartingale 证书的运行时监控问题:监控器观察单条系统轨迹,在执行中有足够统计证据表明证书被违反时发出警报。算法基于 betting-based sequential tests 自动构建监控器,将误报概率限制在用户指定水平,并利用空间规律性提升检测能力,在文献基准上验证了有效性。

  35. arXiv · cs.AI40

    SceneAE:在可查询的 3D 锚定潜在空间中进行场景生成与重建

    arXiv 论文 SceneAE 提出将场景表示为紧凑、非结构化的 3D 锚定潜在空间,每个 latent 结合显式 3D 位置与隐式内容特征,形成稀疏 latent 点云。该表示可直接描述场景本身,重建时无需为每条新相机轨迹重新生成视频,即可投影解码为多目标相机的 RGB-D 观测;生成时先由相机控制生成 3D 几何再合成内容,提升相机可控性。实验显示其在生成质量、计算成本与相机可控性上均更优。

  36. arXiv · cs.AI42

    多会话 LLM 智能体换模型时的行为迁移研究:提出 DASH 历史摘要方法

    一项 arXiv 研究发现,多会话 LLM 智能体在切换模型并传递历史记录时会出现“行为迁移”:接收模型会采纳生成历史的模型的推理与行动模式,该效应在原始历史传递时最明显,用摘要可大幅减弱。研究者据此提出 DASH(Direction- and Authorship-aware Summarization of History),在保留强模型行为的同时减少弱到强迁移,重复切换实验显示其优于原始历史传递和朴素摘要基线。

  37. arXiv · cs.AI33

    不确定性驱动的自博弈方法提升多智能体驾驶策略的鲁棒性

    一项 arXiv 研究提出不确定性驱动的自博弈训练方案:一半智能体以提升邻居的认知不确定性为奖励,另一半学习安全驾驶,从而自动生成高难度训练课程。该方法在 nuplan Val14 上实现 99.12% 的零样本迁移(对比标准自博弈 97.97%),在 Argoverse 2 上达 82.39%(对比 78.03%),且无需微调;LSTM 隐状态覆盖率比基线高 85%,行为多样性显著提升。

  38. arXiv · cs.AI33

    Privileged Hindsight Distillation 方法学习科研人员的个人科研品味

    一项 arXiv 研究提出 Privileged Hindsight Distillation(PHD),将科研品味建模为从评估准则打分到相对偏好的个人化映射,并利用训练时才可见的后续科学证据改进提案期评估。该方法主要在量子研究领域评测,每位研究者仅需 15 次成对提案比较即可捕捉差异显著的偏好;交互实验显示个性化排序能带来更高的用户后续参与度。