跳到正文
  1. arXiv · cs.CL55

    因果语音隔离器论文发布:22.1M 参数模型可在单 CPU 线程上实时运行

    论文训练了 140M/243M/374M 参数的因果语音隔离器,延迟 20 ms,可从通话本身注册来电者。将 WavLM-Large 权重改为因果并联合训练把开发集错误率从 11.44% 降至 10.55%;在长通话窗口上训练后发布版在干净开发集错误率为 2.96%,AMI 60 s 窗口实时错误率 16.13%(VoxLock 为 23.66%),Krisp 基准上为 5.74% 对 5.63%。蒸馏出的 22.1M 参数模型在 LiveKit agent 中单 CPU 线程实时运行,每通话占 33% 核心算力,错误率 10.66%;代码与模型已开源。

    推荐理由:论文给出了与 VoxLock、Krisp 的具体错误率对比和 CPU 端蒸馏模型,读者可以据此评估其语音隔离方案在真实通话里的适用性。

  2. arXiv · cs.CL52

    CREDIT:反事实训练提升大语言模型对参考信息的自归因能力

    arXiv 论文 arXiv:2610.35295 提出 CREDIT 方法,用反事实标签直接监督最终答案的自归因,无需人工标注,让模型在回答受附带信息影响时明确说明。实测显示11个前沿模型大多很少标注有影响的信息,在4个开源模型(含2个蒸馏推理模型)上 CREDIT 优于推理级微调和提示词基线,并区分了因建议而改变的答案与模型本就会给出的答案,收益部分迁移到未见信息类型。

    推荐理由:论文用反事实标注直接监督最终答案的自归因,给出11个前沿模型普遍不标注的实测基础和无需人工标注的训练方法。

  3. arXiv · cs.AI57

    arXiv 论文提出 Agentic Algorithm Design:LLM 在 Lean 中设计进化算法并证明运行时界

    Per Kristian Lehre 等提出分阶段管线,让智能体提出黑盒优化算法,用 Lean 证明期望运行时界并过滤缺陷设计。智能体给出的算法在 CycleUncover 问题达 O(n²),而经典 (1+1) EA 需 e^Ω(n);在 8 个问题类上,15 次运行中 12 次用前沿模型完成机器验证的运行时证明,消融显示去掉分阶段会导致照抄基线或证明不完整。

    推荐理由:论文展示了分阶段管线让智能体在 Lean 中机器验证算法运行时证明,为无实证评估的开放式算法发现提供了可检验的替代路径。

  4. arXiv · cs.CL52

    MiRL:面向终端智能体错误行为的定向强化学习方法

    论文提出 Misbehavior-driven RL(MiRL),针对终端智能体在长程任务中反复出现的错误行为做定向强化学习训练,从错误发生处启动 rollout,仅在通过测试且避免错误行为时给奖励。在 Qwen3.5-4B 上,八类错误行为占错误步骤的 52.1%;训练后在未见前缀上错误重复率平均降低 43% 到 57%,Terminal-Bench Lite 得分 51.8% 超过 TMax-4B 的 47.4%,Terminal-Bench 2.1 上 21.3% 对 20.6% 持平,rollout 用量仅为其 35%。

    推荐理由:论文给出面向终端智能体的错误定向 RL 方法,附错误占比与基准对比数据,方法思路可迁移到其他长程任务训练。

  5. arXiv · cs.AI57

    dSpark 提出调度蒸馏方法加速扩散大语言模型生成

    论文提出 dSpark,一种面向扩散大语言模型(dLLM)的调度蒸馏框架,通过构建优先揭示能让其他位置更易预测的 token 的 unmasking 调度,并以 KL 散度正则化蒸馏进模型,实现更快的并行采样。在 GSM8K 上,该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别取得 10.12× 和 5.12× 加速,同时保持更优的任务性能,代码已开源。

    推荐理由:论文给出了让扩散语言模型更早揭示关键 token 的调度蒸馏思路,GSM8K 上的加速倍数可直接对照不同基线参考。

  6. arXiv · cs.CL65

    AgentMemRec:用推荐系统方法设计 LLM 智能体长期记忆

    论文提出 AgentMemRec,把智能体记忆选择形式化为预算化 slate 推荐,从推荐系统借鉴候选生成、排序与 slate 构造,全程零 LLM 调用。在 LongMemEval 多会话问题上比 A-Mem、HippoRAG 2、DynamicRAG、T-Mem 高 10 到 31 个百分点准确率,以 3.2 倍更低的服务成本比肩每查询 64 次 LLM 调用的重排器,并在 LoCoMo 上写入时零 LLM 调用超过 Mem0 和 Zep。

    推荐理由:论文把智能体记忆选择形式化为预算化 slate 推荐,给出可复用的分阶段设计框架,并在 LongMemEval 等基准上量化了各组件贡献。

  7. arXiv · cs.CL59

    Adaptive-LoRA 论文:用 Path Patching 揭示 LoRA 层稀疏性并自动选择任务相关层

    一项被 NeurIPS 2026 主会接收的研究通过机械可解释性分析发现 LoRA 的适配效果在组件和层级上高度稀疏,且关键层高度依赖任务、跨任务重叠有限。论文提出 Adaptive-LoRA,基于冻结基座的 zero-ablation 校准自动识别任务相关层;在 Qwen2.5-1.5B 上跨 11 个推理任务仅用 30% 的层即超过全层 LoRA,适配器参数减少 $3.5\times$。论文地址 https://arxiv.org/abs/2610.34756v1。

    推荐理由:论文用机械可解释性方法解释 LoRA 层稀疏性,并给出可复用的自动选层方法,30% 层即超过全层 LoRA 的结果具体可查。

  8. arXiv · cs.CL52

    arXiv 论文:位置比渠道更影响语言模型被说服改错答案

    arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案,并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道,带错误理由的断言放在问题之前可把错误率从 1% 提到 67%,权威署名和肯定语气各提升 10-27 个百分点,而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。

    推荐理由:论文把提示位置、信息来源和模型已有输出三个因素拆开比较,给出了可复现的错误率变化数字。

  9. arXiv · cs.CL56

    FATE-5 论文提出大五人格连续控制的两阶段框架

    Gunhee Cho 等发布 arXiv 论文 FATE-5(arXiv:2610.34889),提出两阶段框架将大五人格编码与对话自然度对齐分离,先用对话监督和辅助问卷目标学习连续软提示表征,再基于对话质量与人格一致性做偏好对齐。在三个语言模型骨干上,held-out 问卷的单调性相关达 0.97-0.99、恢复 RMSE 为 8.9-12.4,自然度显著高于其他 trait-strong 方法。

    推荐理由:论文用两阶段框架分离人格编码与自然度对齐,给出了单调性相关和 RMSE 等量化指标,对做大五人格可控对话的读者有参考价值。

  10. arXiv · cs.CL62

    Outcome RL 带来了什么:对 20 个 RL 模型的完成度、可靠性与覆盖面拆解

    一项 arXiv 论文将 Outcome RL 提升 pass@1 的来源拆解为完成度、可靠性和覆盖面三部分,在固定 token 预算下比较 1.5B 到 32B 共 20 个 RL 模型与其基座思考模型。结果显示基座常耗尽预算时 82% 的变化来自完成度,预算充足时增益主要来自可靠性;RL 极少解出基座解不出的问题,覆盖面最多带来 2.1 个百分点,抽查 144 道仅 RL 解出的物理题中仅 3.5% 经复核成立。

    推荐理由:论文把 RL 带来的 pass@1 提升拆成完成度、可靠性和覆盖面三部分,量化了 Outcome RL 很少解出新题这一结论。

  11. arXiv · cs.CL52

    RoAR:用 rollout 一致性改进 GRPO 的推理训练

    论文提出 RoAR(Rollout-Agreement Reward),在 GRPO 对已验证正确 rollout 的奖励中加入推理层面的一致性信号,无需人工理由、额外采样或单独训练的过程评估器。126 对盲测配对分析显示低一致性正确轨迹的伪推理比例为 35%,高于高一致性的 22%。1.5B GRPO-RoAR 模型用 7K 训练样例在五个数学推理基准上零样本平均 pass@1 达 55.5%,比 GRPO 和 GRPO-CARE 分别高 6.0 和 5.5 个百分点,盲审中伪推理率为 18%,低于 GRPO 的 32%、GRPO-CARE 的 27% 和 DRA-GRPO 的 37%,代码已公开。

    推荐理由:论文用盲测配对数据说明正确答案中低一致性轨迹更常出现伪推理,并据此提出无需额外采样的 RoAR 奖励方法。

  12. arXiv · cs.CL54

    arXiv 论文:用自主进化优化推理程序提升 VLM 科学图表分析准确率

    论文提出在冻结的 VLM 外部搜索推理程序,借鉴 AlphaEvolve 的自主进化思路,由 LLM judge 依据训练题失败案例迭代改进代码。在 3 个 VLM 和 4 个科学图表基准上,描述性问题的精确匹配准确率平均从 16.6% 提升到 41.3%,单次最大提升 55.2 个百分点,进化后的程序还比基线快 3.8 倍。

    推荐理由:论文说明相当一部分 VLM 图表问答错误来自推理管线而非模型本身,不改权重、只进化推理程序即可大幅提分。

  13. arXiv · cs.AI59

    ThinkBit 提出面向推理保持的标量 2-bit 量化框架,Qwen3-1.7B 上 MATH-500 达 73.0

    ThinkBit 是一个严格标量的 2-bit 量化框架,用整数码字乘 bfloat16 组共享尺度表示权重,按敏感性给每层分配三值/2-bit/3-bit 位宽,经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上,再校准检查点 MATH-500 得 46.7,高于同数据训练的 EfficientQAT 的 30.0;QAT 后达 73.0;0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8,bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1

    推荐理由:论文用敏感性分层、尺度再校准和短程 QAT 做 2-bit 推理模型量化,给出与 EfficientQAT 的 MATH-500 对比数据可参考。

  14. arXiv · cs.AI57

    arXiv 论文提出用目标冲突样例改进 LLM 指令层级

    arXiv 论文(arXiv:2610.35093)指出指令层级(IH)训练中存在一类被 OpenAI 和 NVIDIA 现有训练集遗漏的冲突类型,即目标与目标之间的冲突。作者将任务分解为目标和约束后发现这一缺口,并在 Qwen3.5-9B 与 Gemma4-12B-it 上微调该类冲突样例,显著提升训练未见真实任务上的指令层级表现;将其加入现有 IH 训练集也能提高 adherence,且在八个基准的无冲突任务上平均效用变化很小。

    推荐理由:论文指出 OpenAI 和 NVIDIA 的指令层级训练集缺少目标冲突这一类型,并用微调实验给出可复用的补法。

  1. GitHub · 灵魂体仓库55

    llm-collusion-audit:用黑盒因果审计区分 LLM 定价是串谋执行还是锚定

    作者发布 llm-collusion-audit 仓库,在 Apart Research AI Collusion Sprint(2026 年 10 月 23 至 25 日)期间构建黑盒因果审计,从存档的重复定价博弈中重启并施加单一干预(强制降价或涨价、隐藏对手价格、更换伙伴、引入第三方),区分 LLM 定价智能体是在执行卡特尔还是仅被锚定在高价。

    推荐理由:该项目用因果干预实验区分 LLM 定价是真实串谋还是锚定高价,方法预注册、含失败结果,结论可直接用于 AI 串谋检测讨论。

  1. GitHub · 3D 生成新仓库59

    NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词

    清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。

    推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。

  2. GitHub · 3D 生成新仓库63

    code-model-reliability 开源代码模型能力与可靠性统一度量框架

    szymonkobus 发布 code-model-reliability 仓库,用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力(D50)和可靠性(D99)。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试;仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本,代码 MIT、数据 CC BY 4.0。

    推荐理由:用同一难度尺度同时刻画模型能力 D50 和可靠性 D99,覆盖 71 个模型配置的可复现评测框架。

  3. arXiv · cs.AI54

    OS-Wizard 论文提出知识引导的自动轨迹采集框架,微调模型在专用桌面任务上超过人类水平

    论文提出 OS-Wizard,一个面向专用桌面软件的自动轨迹采集框架,结合教程引导探索与 GUI 和代码混合动作空间,并在树探索中检查点和回访关键状态。采集的 10.9K 条轨迹含 54.9K 个状态动作样本,微调开源 base 模型后在专用桌面工作流基准上提升 58.2 个百分点至 64.1%,超过报告的人类水平 59.8%;仅用 GUI 动作也能提升通用桌面任务表现。

    推荐理由:论文给出了一条自动化采集专用软件操作轨迹的完整路径,含方法、数据规模和微调后的对比结果,可作同类工作的方法参考。

  4. arXiv · cs.AI55

    FlashScript:把重复 Agent 工作流编译为可复用的神经符号程序

    论文提出 FlashScript,将成功的 Agent 运行编译为可复用的神经符号程序(NSP),动作与数据转换变代码、实例值变参数、需模型判断的决策保留为 LLM 调用。在 120 个 WorkBench 分析任务上配合 Claude Haiku 4.5,NSP 每次运行做出相同工具调用,输入 token 约为 skill 引导 Agent 的 1/70、运行时间约 1/3;复合任务中 skill 引导 Agent 准确率降至 23%,NSP 保持正确,并成功泛化到 108 个未见过实例。

    推荐理由:论文把成功的 Agent 运行轨迹编译成可复用的神经符号程序,给出 token 用量与运行一致性的量化对比。

  5. arXiv · cs.AI58

    StateWise 论文提出让 LLM 追踪多轮对话中演化约束的自我改进方法

    arXiv 论文 2610.33766 提出 StateWise,教单个 LLM 维护可修订的约束状态(含已撤销约束的墓碑标记),通过摘要、条件响应和精确回程检查自训练。在两个 backbone 上,StateWise 相比有监督自训练把 relapse 降低 8-22 个百分点,对话成功率较 backbone 提升 8-19 个百分点,且无需推理时脚手架就胜过 oracle 编译账本基线。论文还发现 Llama-3.1-8B 的有监督变体会让 relapse 约翻倍,因而加入偏好阶段,并评估了该方法对通用指令遵循基准的代价与权重插值缓解手段。

    推荐理由:论文指出微调后的 7-8B 模型会精确追踪约束状态却不遵守,这一发现和用偏好阶段修复的思路有参考价值。