跳到正文
10月15日周四
  1. arXiv · cs.CL43

    面向类型化决策模型的选择性推理:何时开始、读取与停止

    研究在冻结的 Qwen3.5-4B 骨干上训练共享候选答案读取器,统一直接决策与按需可中断推理,通过 benefit gate 启动推理、自然状态触发显式读取、熵规则接受答案并取消生成。在 ProofWriter、LogiQA 2.0 和 ARC-Challenge 共 768 道题上,准确率从直接读取的 70.96% 升至 84.38%;相比 512-token 终端读取提升 7.29 个百分点、平均输出开销仅增 2.25%,相比 1,024-token 终端读取流水线时间下降 46.30%。

  2. arXiv · cs.CL52

    SRP-SFT:通过选择性边距保持改进监督微调

    论文提出 Selective Rank-Preserving SFT(SRP-SFT),用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系,并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中,三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT;种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%,四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。

    推荐理由:论文给出 SRP-SFT 的可行域刻画与多种子实验数据,读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。

  3. arXiv · cs.CL53

    SYNC:无需训练即可实现跨语言模型间的事实通信

    Xin Li 在 arXiv 发布 SYNC(Symbol-Indexed Neural Communication),一种免微调、免学习翻译器的词索引接口,让异构语言模型通过共享词表索引交换事实。发送方仅凭描述从共享词表选词并发送索引,接收方用自己的词方向向量将事实写入隐藏状态;在 3 个发送方与来自 5 个模型族的 9 个接收方上,新场景四问成功率 72.0-98.3%,最高比中层写入高 96 个百分点,两个最大接收方与纯文本持平;任务无关探针提前预测可用写入深度 45/45 命中,新布局下逐条事实消息保持 89.6-100% 成功率。项目页、代码与数据已公开。

    推荐理由:论文给出跨架构模型间免训练通信的具体接口设计和多组收发模型组合的实测数据,方法可复现且代码数据已开放。

  4. arXiv · cs.CL30

    BANGLAPLAN:孟加拉语约束规划与决策基准发布

    BANGLAPLAN 基准发布,包含 1,000 道基于孟加拉国日常生活的约束规划与决策题,覆盖 10 个任务族、4 种语域和 8 种结构化 JSON 答案类型。评测 11 个开源与闭源模型配置显示:GPT-6.1 Sol 达 98.7%,Qwen3.5-27B(thinking)达 80.3%,直答配置最高仅 30.9%,11 个中 7 个低于恒答 infeasible 基线;难题主要降低规划构建准确率,不可行性检测更稳健。

  5. arXiv · cs.CL48

    RouteWeaver:将模式选择与执行统一进单一 LLM 路由框架

    RouteWeaver 是一个统一 LLM 路由框架,将单轮、多轮与 agentic 路由模式整合进单一策略,联合学习模式选择与模式内模型执行。其配套的 COMET-GRPO 训练方法将优势信号解耦到两个决策层级,并引入渐进式探索。在数学、代码、知识、逻辑推理与事实召回评测中平均准确率达 61.4%,较最强基线相对提升 11.03%,并在全部五个领域超越所有对比基线。

  6. arXiv · cs.CL29

    ReSemReason:面向生物医学多跳问答的关系语义推理框架

    arXiv 论文提出 ReSemReason,针对知识图谱生物医学多跳推理中“可达但无效”的问题,即答案可达但证据路径无法支持所需关系组合。该方法在候选发现与证据选择间共享问题诱导的类型化有向关系 schema 分布,并用 ReSemAttn 进行关系条件化的注意力建模。在 BioHopR、PrimeKGQA 和 MedReason 上的实验显示答案排序与答案集质量均有提升。

  7. arXiv · cs.CL45

    Qwen-MT-Lumen 参加 WMT2026:基于质量感知训练与在线蒸馏的指令专用翻译

    阿里团队推出开源翻译模型 Lumen,参加 WMT 2026 通用机器翻译任务,专注满足术语、风格和结构化输出等细粒度指令要求。模型基于 Qwen3-14B,采用四阶段流程:继续预训练与监督微调、将 M²PO 扩展为在线偏好优化、从更大教师模型做 on-policy 蒸馏,以及结构感知推理与修复。在 23 个翻译方向上,按 1–5 分 LLM-judge 评分取得 4.60 的总体均分,表现与领先闭源系统相当。

  8. arXiv · cs.CL45

    似然不等于作者身份:AI 辅助写作中的人类贡献能否被可靠测量?

    arXiv 论文指出,基于提示词预测性的 AI 写作人类贡献度量可被轻易操纵:让模型复制提示词中的随机 ID(SPECIFICITY PADDING)即可使分数大幅波动,同一篇文章可被判定为 85% 或 15% 人类撰写。在 3.8B 至 753B 参数的多款 LLM 及新闻、科学摘要文本上均验证了这一现象,且仅凭 transcript 的方法在最坏情况下误差达一半贡献。

  9. arXiv · cs.CL58

    arXiv 论文实测智能体强化学习中的自蒸馏:十种方法无一稳定超越 GRPO

    arXiv 论文 2610.19789 在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 四个环境、三种模型规模上,将十种代表性自蒸馏方法与 GRPO 直接对比,共 132 次训练、累计 12,124.4 H800 GPU 小时,并对预训练骨干和全部十一个训练后方法在八个 rollout 种子上重复评测。结果显示没有方法能在所有设置下稳定超越 GRPO,最终性能好可能掩盖训练不稳定,额外训练成本也不必然带来更好表现。

    推荐理由:论文用 132 次训练、1.2 万余 GPU 小时直接对比十种自蒸馏方法与 GRPO,指出最终分数可能掩盖训练不稳定。

  10. arXiv · cs.CL55

    JetSpec++ 论文提出前瞻并行草拟与自修正的推测解码方法

    UC San Diego 等机构在 arXiv 发布 JetSpec++,通过块内自修正、块间前瞻草拟和草拟与验证流水线重叠,将草拟的边际耗时降到接近零。相比自回归解码最高加速 7.45 倍,相比 DSpark 最高 1.54 倍,在 GB200 上单请求达每秒 1,361 token,七个基准平均接受长度 8.94,且保持目标模型输出分布。代码与模型已开放。

    推荐理由:论文给出 JetSpec++ 的三个组件和与 DSpark、自回归解码的加速对比数据,读者可据此评估该推测解码方案的适用性。

  11. arXiv · cs.CL58

    AGORA 框架研究社会脚手架如何塑造自演化多智能体系统

    arXiv 论文提出 AGORA 框架,独立变化团队构成与相互依赖结构(协作、从众、竞争)来研究自演化多智能体系统(MAS)的演化。在网页搜索、代码库理解与文档问答任务上发现:仅演化很少带来提升,合适的脚手架最多比单独演化的强智能体高出 25 分;其机制是把权威移交给最有能力的成员、其余成员退居辅助,且该成员在团队中成长后优于同一模型单独使用。

    推荐理由:论文用 AGORA 框架把团队构成与依赖结构拆成独立变量,给出社会脚手架影响多智能体自演化的实验数据。

  12. arXiv · cs.CL55

    Delta Tokenizer 论文提出会话增量分词与分段并行方案加速长 Prompt 推理

    arXiv 论文 2610.19801 提出 Delta Tokenizer,一个只对会话请求增量部分做分词的 CPU 前端,并支持长请求的多核分段并行编码,输出与参考分词器完全一致。增量路径比 Hugging Face 参考分词器快约 40x,16 核下分段并行比串行快 8.2x、比 LoPT 快 1.6-2.1x;接入 SGLang 后 100K tokens 时中位 TTFT 降低 59%,Agent 会话 P99 TTFT 在负载下降低 9.5x、长请求占满前端时降低 23x。增量路径与快速编码器已在 toktier 仓库开源,分段并行路径、CPU 池调度器和 SGLang 适配器将在同一仓库发布。

    推荐理由:论文给出了与 Hugging Face 参考实现和 LoPT 的具体加速对比,以及 SGLang 内的 TTFT 实测数据,可评估该方案的实际收益。

  13. arXiv · cs.CL50

    模型与用户谁的价值占上风?多轮对话中的推理时价值对齐研究

    一项 arXiv 研究在多轮对话中评估四种基于提示词和激活的 steering 方法,涉及三个模型和两种价值权衡,用 linear probe 追踪对齐情况。结果显示当助手与用户朝相反价值方向拉扯时,符合助手基线偏好的一方往往占上风,早期看似成功的引导效果在几轮后常减弱或反转。研究认为 steering 应在完整对话和双向价值权衡中评估。

  14. arXiv · cs.CL43

    MAPLE:用于 LLM 评估的多轴参数化知识提取框架

    研究者提出 MAPLE 框架,用于刻画激活引导、解码调整、提示词等知识提取增强(KEE)技术如何影响大语言模型的参数化知识提取。该框架在表层、概率和超出采样层面区分答案恢复与破坏等效应,并在 OLMo2、Qwen2.5 和 Llama3 三个模型族上评估了六种 KEE 技术,揭示出各技术间不同的效应与权衡。

  15. arXiv · cs.CL64

    OpenTWBench 发布:面向大语言模型的台湾领域知识评测套件

    Liang-Hsun Huang 在 arXiv 发布 OpenTWBench,一套评测大语言模型台湾领域知识的开放套件,含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据,含 148 科目共 255,854 道四选一题,剔除 2,180 道依赖图片的题目后用 253,674 题计分;后者含 1,696 道关于台湾日常与当代生活的精选题,以冻结的七模型池校准至及格边缘(46.9-74.6%,中位约 54%),leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型,22 个超过该区间上限,最好成绩 91.6%。

    推荐理由:论文用同一批题目量化了评测装置本身对分数的影响,答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。

  16. GitHub · 灵魂体仓库42

    munimtechnologies 发布 forecast-answer-formats:首个跨工具 LLM 预测答案格式基准

    Munim, Inc. 的 MV2 在 GitHub 发布 forecast-answer-formats,首个跨工具基准,检验部署的预测机器人提取器对 LLM 有效答案格式的读取、丢弃与误读情况,覆盖 Metaculus 的 binary、multiple-choice 和 numeric 三类问题。对比 mv2-forecaster 0.1.7 与 Metaculus forecasting-tools:binary 20 例中两者分别 14 与 13 例正确,multiple choice 11 例中 7 对 6,numeric 8 例中 5 对 5,两类提取器各有失败模式、互不占优。语料库以 CC BY 4.0 发布,代码采用 Apache-2.0。

  17. GitHub · 灵魂体仓库19

    gmyfoxnsw4855 开源仓库:优化 LLM 在多任务环境中的上下文推理(论文投稿 COAI 2025 审稿中)

    GitHub 仓库 gmyfoxnsw4855 发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套代码页,论文提出优化 LLM 跨多任务上下文推理的策略,实验显示在动态环境中适应性更优,目前处于 COAI 2025 审稿中。完整实现代码、benchmark 结果与预训练模型 checkpoint 标记为即将发布。

  18. arXiv · cs.AI51

    HACHIMI-II:从角色扮演转向学习者行为建模以忠实模拟学生

    arXiv 论文提出 HACHIMI-II,将学生模拟重构为对学习者下一步动作的第三人称预测,从学习者历史构建学生模型并推断其当前状态。在三个题目应答数据集上,模拟与真实学生能力的 Wasserstein-1 距离比最强基线小 2.4–8.4 倍;在两个对话数据集上,按相同知识类型、位置和机制复现真实学生错误的频率高 1.8–5.1 倍,消融显示增益主要来自显式学习者状态。论文 18 页 4 图,链接 https://arxiv.org/abs/2610.19654v1。

  19. arXiv · cs.AI54

    arXiv 论文提出 LLM Agent 回复可用性度量并验证两种降低失败率方法

    Yilin Jiang 在 arXiv 发布论文(arXiv:2610.19659),提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中,480 条回复有 54% 不可用,最好的模型失败率仍达 30%,失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43,用第二个模型改写回复可降到 0.36,并经人类标注者盲测确认。

    推荐理由:论文提出可量化的回复可用性指标,并给出追加一条消息或调用改写模型两种降低失败率的做法。

  20. arXiv · cs.AI41

    Med-TrustRouter:面向临床推理的回归安全知识路由方法

    医疗推理 LLM 依赖的外部知识可能过时、被污染或产生幻觉,导致正确答案被改错。研究者构建了覆盖检索证据与推理链的医学知识投毒 benchmark,含七类攻击族,并提出 Med-TrustRouter:在保持求解器冻结的情况下,基于运行时信号逐实例路由知识使用。在七个医疗推理设置中取得 78.9 macro 和 69.2 worst-case 准确率,macro 与最强基线持平,同时显著提升最差情况下限。

  21. arXiv · cs.AI50

    MCAIR:利用内部表示监控并纠正智能体不忠实行为

    研究者提出 MCAIR,一个基于 LLM 内部表示的运行时监控与纠正框架,用于检测智能体完成不忠实行为——即最终报告未如实反映实际执行轨迹。MCAIR 用多步内部表示训练风险感知探针实现在线检测,并通过风险引导的纠正循环促使智能体复查执行历史;同时构建了含步骤级执行轨迹与一致性标注的 ACUD 数据集。实验显示其优于 LLM-as-a-judge 基线并能跨提示与任务泛化。

  22. arXiv · cs.AI49

    Interlock:让长程智能体从局部正确走向任务完成

    论文提出 Interlock 框架,将任务表示为类型化完成图,通过 grounding 边、coupling 超边和 realization 边刻画证据、决策与下游效果间的关系,并编译为可重置工作区、公开请求与评测 rubric。在两个 Qwen3.6 backbone 上用自产轨迹微调后,AutomationBench 任务通过率提升 4.00-4.50 个百分点,JobBench 加权分提升 3.20-6.64 分,Harvey LAB 准则通过率提升 3.89-4.16 个百分点。

  23. arXiv · cs.AI41

    FSPO:面向策略优化的函数空间时序自蒸馏框架

    FSPO(Function-Space Policy Optimization)是一种单策略强化学习框架,将稀疏历史 next-token 分布存为固定时序目标,无需维护常驻教师模型即可实现时序分离,并引入特权分歧校正、可靠性自适应锚定与质量覆盖感知时序记忆。在推理与工具使用 benchmark 上,FSPO 在 5 小时训练预算内平均准确率最高,较最强基线平均提升约 4 个百分点,在 Olmo3-7B-Instruct 上峰值显存从约 70 GB 降至 56 GB。

  24. arXiv · cs.AI42

    加加性估值下连续无嫉妒蛋糕切分问题的 PPAD 完全性证明

    一项 arXiv 研究证明,在归一化有理分段常数加加性估值下,计算完整连续 ε-无嫉妒蛋糕切分是 PPAD 完全的,即使 ε 以一元表示、密度仅取两个相同值且至多六个断点时仍成立,由此精确连续无嫉妒切分同样 PPAD 完全。研究还证明对任意固定整数 c≥1,路径上不可分物品的连续 EFc 分配在加加性估值下为 PPAD 完全,解决了 Goldberg、Hollender 和 Suksompong(JAIR 2020)与 Bilò 等(ITCS 2019)的开放问题。

  25. arXiv · cs.AI34

    ReFormBench:评测大语言模型响应条件化格式纠正稳定性的基准

    ReFormBench 是一个以模型对同一问题的无约束响应作为格式基线、评测大语言模型格式纠正稳定性的基准,包含源自 910 个源问题的 5,000 个三约束测试实例,覆盖 66 种格式化特征。在十个模型上,EMCR 指标介于 34.04% 至 64.72%,最高的三目标纠正估计为 50.02%,合规与纠正得分产生不同排名。在 Qwen3.5-9B 上的提示词实验同时提升了两个指标,代码与数据已开源。

  26. arXiv · cs.AI31

    C3:多轮强化学习中基于置信度的过程监督信用修正方法

    arXiv 论文提出 Confidence-Guided Credit Correction(C³),一种可插拔的局部信用修正方法,解决仅用结果奖励的多轮智能体强化学习中错误行为仍获正优势的问题。C³ 在优势估计后选择性修正正信用,修正强度由行为策略的置信度自适应控制,不改任务奖励与原信用估计。在多个多轮 benchmark 上,C³ 在基于 critic 与无 critic 的 RL 方法下均提升性能。

  27. arXiv · cs.AI43

    RuleTrek:面向复杂场景的智能体规则推理基准

    论文提出 RuleTrek,一个面向复杂场景的多领域智能体规则推理基准,通过规则图谱构建并增量组合子场景,评估规则识别(RI)、规则推导(RD)与端到端规则推理(E2E)三项能力。对 11 个前沿 LLM 的实验显示,RI 与 RD 最高分仅 62.47% 和 60.43%,E2E 得分在 26.97% 至 55.29% 之间,代码与数据集已公开。

  28. arXiv · cs.AI32

    Supermartingale 证书的运行时监控方法研究

    研究者提出针对 supermartingale 证书的运行时监控问题:监控器观察单条系统轨迹,在执行中有足够统计证据表明证书被违反时发出警报。算法基于 betting-based sequential tests 自动构建监控器,将误报概率限制在用户指定水平,并利用空间规律性提升检测能力,在文献基准上验证了有效性。

  29. arXiv · cs.AI40

    SceneAE:在可查询的 3D 锚定潜在空间中进行场景生成与重建

    arXiv 论文 SceneAE 提出将场景表示为紧凑、非结构化的 3D 锚定潜在空间,每个 latent 结合显式 3D 位置与隐式内容特征,形成稀疏 latent 点云。该表示可直接描述场景本身,重建时无需为每条新相机轨迹重新生成视频,即可投影解码为多目标相机的 RGB-D 观测;生成时先由相机控制生成 3D 几何再合成内容,提升相机可控性。实验显示其在生成质量、计算成本与相机可控性上均更优。

  30. arXiv · cs.AI42

    多会话 LLM 智能体换模型时的行为迁移研究:提出 DASH 历史摘要方法

    一项 arXiv 研究发现,多会话 LLM 智能体在切换模型并传递历史记录时会出现“行为迁移”:接收模型会采纳生成历史的模型的推理与行动模式,该效应在原始历史传递时最明显,用摘要可大幅减弱。研究者据此提出 DASH(Direction- and Authorship-aware Summarization of History),在保留强模型行为的同时减少弱到强迁移,重复切换实验显示其优于原始历史传递和朴素摘要基线。

  31. arXiv · cs.AI33

    不确定性驱动的自博弈方法提升多智能体驾驶策略的鲁棒性

    一项 arXiv 研究提出不确定性驱动的自博弈训练方案:一半智能体以提升邻居的认知不确定性为奖励,另一半学习安全驾驶,从而自动生成高难度训练课程。该方法在 nuplan Val14 上实现 99.12% 的零样本迁移(对比标准自博弈 97.97%),在 Argoverse 2 上达 82.39%(对比 78.03%),且无需微调;LSTM 隐状态覆盖率比基线高 85%,行为多样性显著提升。

  32. arXiv · cs.AI33

    Privileged Hindsight Distillation 方法学习科研人员的个人科研品味

    一项 arXiv 研究提出 Privileged Hindsight Distillation(PHD),将科研品味建模为从评估准则打分到相对偏好的个人化映射,并利用训练时才可见的后续科学证据改进提案期评估。该方法主要在量子研究领域评测,每位研究者仅需 15 次成对提案比较即可捕捉差异显著的偏好;交互实验显示个性化排序能带来更高的用户后续参与度。

  33. arXiv · cs.AI42

    LLM 语言表达上限研究:arXiv 论文测量模型能传递哪些概念

    arXiv 预印本研究 LLM 的语言表达上限:提出提示词优化算法,在 benchmark 上比现有算法最高提升 14%,并设计发送方标注、接收方恢复提示词的传输度量。对 8 个领域 1.2k 个概念的测量发现三类概念:可完全表达、未来更强模型可能表达、以及与身份和群体意识绑定而难以表达的概念;人类在 LLM 难以处理的 76% 概念上仍有中到高度一致性,表明表达上限因执行者而异。

  34. arXiv · cs.AI18

    ONCship:面向船舶识别的大规模水声数据集发布

    研究者发布 ONCship 大规模水声数据集,包含来自 Ocean Networks Canada(ONC)水听器的 4521 小时精选录音及 AIS 数据。在 DeepShip 上,ONCship 与 AudioSet 联合预训练经 linear probing 达到 62.45% 分类准确率;作为辅助训练数据还可提升船舶类型分类性能。在 MMSI 级船舶识别任务中,微调模型 Top-1 准确率超过 53%、Top-5 接近 69%。

  35. arXiv · cs.AI33

    CSVG:基于候选集视觉定位识别对话歧义

    研究者提出候选集视觉定位(CSVG)任务,估计与对话上下文一致的目标对象集合,并发布跨对话轮次评估候选集变化的 CandVG benchmark。对视觉语言模型的评测显示,视觉定位能力更强并不必然带来更好的 CSVG 表现,模型难以预测完整候选集,主要败在候选生成不足和早期轮次过早收敛到小集合;通过专为 CSVG 设计的指令可部分缓解大规模模型的这一局限。

  36. arXiv · cs.AI34

    ARP-CD:通过注意力引导的表示扰动缓解 Video LLM 幻觉

    研究提出 ARP-CD,一种免训练的对比解码框架,利用答案预测位置上视觉 token 的注意力质量,对语言模型输入的视觉隐藏状态做有界梯度更新,在表示空间直接构造对比负样本。在 4 个 Video LLM 和 4 个 benchmark 上的实验显示,ARP-CD 在多数模型-基准组合中优于代表性免训练基线,减少幻觉的同时提升整体视频理解能力。

  37. arXiv · cs.AI52

    arXiv 论文揭示目标误泛化中策略对齐的三种不同失败形式

    arXiv 论文 2610.19731 研究目标误泛化中目标在智能体内部丢失的机制,在 3 个 Procgen 环境和 5 个机器人任务上识别出三种策略-目标失准形式:功能目标替换、动作捷径和线索竞争。通过追踪目标信息在内部的位置、对策略的影响强度和作用,发现目标丢失发生在不同深度;目标到达决策层时引导可将目标达成率从 16.0% 提到 95.3%,只到策略层时需改接下游线路,从 31.6% 提到 84.3%,完全失效时两者均无效。

    推荐理由:论文把目标误泛化拆成三种不同深度的策略失准,并给出每种情形对应哪种修复手段有效的实测数据。

  38. arXiv · cs.AI34

    等长约束下比例切蛋糕问题的精确切割复杂度研究

    一篇 arXiv 论文证明,n 个智能体在等长约束下的比例切蛋糕问题中,保证公平分配所需的最坏情况切割数恰为 2n-2,改进了此前已知的二次上界。论文还证明 Robertson-Webb 模型中不存在能在有限次询问内终止的确定性协议,但对任意 ε>0,O(n²/ε) 次询问可实现近似分配;引入双刀询问后,n 为 2 的幂时递归平衡对分可达到 2n-2 的最优界。

  39. arXiv · cs.AI28

    ProtModernBERT:面向计算高效蛋白质语言建模的新架构

    研究者推出 ProtModernBERT,一种采用现代架构改进的 BERT 风格蛋白质语言模型,在氨基酸序列上预训练。该模型在二级结构、无序区和亚细胞定位预测及 ProteinGym 零样本基准上,性能与 Amplify-120M 和 ProtBert 相当,预训练 FLOPs 减少 80-90%,并缩小与 ESM2 的差距。分析表明现代架构组件带来的归纳偏置在低算力场景下比参数量更关键。