跳到正文
  1. arXiv · cs.CL55

    因果语音隔离器论文发布:22.1M 参数模型可在单 CPU 线程上实时运行

    论文训练了 140M/243M/374M 参数的因果语音隔离器,延迟 20 ms,可从通话本身注册来电者。将 WavLM-Large 权重改为因果并联合训练把开发集错误率从 11.44% 降至 10.55%;在长通话窗口上训练后发布版在干净开发集错误率为 2.96%,AMI 60 s 窗口实时错误率 16.13%(VoxLock 为 23.66%),Krisp 基准上为 5.74% 对 5.63%。蒸馏出的 22.1M 参数模型在 LiveKit agent 中单 CPU 线程实时运行,每通话占 33% 核心算力,错误率 10.66%;代码与模型已开源。

    推荐理由:论文给出了与 VoxLock、Krisp 的具体错误率对比和 CPU 端蒸馏模型,读者可以据此评估其语音隔离方案在真实通话里的适用性。

  2. arXiv · cs.CL55

    Skill$^\infty$:让 Agent 技能优化实现递归自我改进

    Wangcheng Tao 等发布 arXiv 论文 Skill$^\infty$,提出元 Agent 按元技能优化任务技能、并用同一流程优化元技能自身,使技能优化递归自我改进。元 Agent 诊断执行轨迹、提出候选、请求独立评审并分配搜索预算;元技能在多个任务上精炼后跨领域复用。在 SkillsBench 83 个任务上 pass rate 达 60.7%,高于人工精选技能的 56.4% 和 SkillEvolver 的 54.5%。

    推荐理由:论文把技能优化本身也编码为可被改写的元技能,给出 83 个任务上与人工技能和 SkillEvolver 的对比数据。

  3. arXiv · cs.CL52

    RoAR:用 rollout 一致性改进 GRPO 的推理训练

    论文提出 RoAR(Rollout-Agreement Reward),在 GRPO 对已验证正确 rollout 的奖励中加入推理层面的一致性信号,无需人工理由、额外采样或单独训练的过程评估器。126 对盲测配对分析显示低一致性正确轨迹的伪推理比例为 35%,高于高一致性的 22%。1.5B GRPO-RoAR 模型用 7K 训练样例在五个数学推理基准上零样本平均 pass@1 达 55.5%,比 GRPO 和 GRPO-CARE 分别高 6.0 和 5.5 个百分点,盲审中伪推理率为 18%,低于 GRPO 的 32%、GRPO-CARE 的 27% 和 DRA-GRPO 的 37%,代码已公开。

    推荐理由:论文用盲测配对数据说明正确答案中低一致性轨迹更常出现伪推理,并据此提出无需额外采样的 RoAR 奖励方法。

  1. arXiv · cs.CL63

    arXiv 论文发现 schema 中的最小条目数会让开放权重模型填充提取列表

    arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为,发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文,难以被校验发现;告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限,而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。

    推荐理由:论文用预注册实验量化了 schema 最小条目数如何导致模型凑数虚报,并实测了几种常见修复方法的有效程度。

  2. Hugging Face Blog70

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分作 RL 奖励后训练 Agent

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。

    推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。

  1. arXiv · cs.CL65

    DeepEvolve 论文提出基于未来事件预测的递归自我改进系统

    Zhipeng Chen 等人在 arXiv 发布 DeepEvolve,一个以未来事件预测为环境的可持续演化智能体系统,通过递归进化引擎把每次预测的推理轨迹转化为能力。在按周更新、以真实世界结果评估的 FutureX 榜单上连续三周排名第一,rating 最高提升 195%;在自建评测中于四个基座 LLM 上进入前三,领先最强基线最多 10.7 Bradley-Terry 分。论文 47 页,标注为进行中的工作。

    推荐理由:论文以未来事件预测这一可持续演化的环境为基础研究递归自我改进,FutureX 榜单连续三周第一是可复核的外部结果。

  2. arXiv · cs.AI70

    AI 辅助发现新共识协议 A-greement,并构建 Lean 验证的智能体框架 AI-greement

    研究者借助 AI 智能体框架 AI-greement 发现了面向地理分布式状态机的新共识协议 A-greement。在 5 或 9 副本的六种部署中,该协议在写密集和读密集负载下分别将地理分布式键值存储的平均延迟较最快基线降低 12.2% 和 33.3%,只读负载下持平。AI-greement 集成协议知识库、模块化实现骨架和基于 Lean 的验证框架,其形式化还发现了既有共识协议中多个此前未报告的漏洞;作者强调人类专家在搜索前后仍不可或缺。

    推荐理由:原文给出 AI 智能体在 Lean 验证框架下发现新共识协议的完整方法与延迟数据,还附对既有协议漏洞的发现。

  1. arXiv · cs.AI54

    Stratified Sparse Attention 论文提出确定性检索结合分数引导采样以缩小极端稀疏下与稠密注意力的差距

    Sahil Joshi 等在 arXiv 发布论文,提出 Stratified Sparse Attention(SSA),将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上,SSA 均优于基线;RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下,32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%,分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后,1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍,代码已开源。

    推荐理由:论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据,方法可复用,代码已开源。

  2. arXiv · cs.AI52

    35B MoE 智能体模型 Sage-A1.5 发布技术报告

    Wenjie Lou 等人发布 Sage-A1.5 技术报告,这是一个基于 A1 的 35B Mixture-of-Experts 智能体模型,通过自适应能力组合推进长程问题求解。报告提出三项改进:通过任务委派与子智能体隔离上下文并行协作的智能体编排,包含进度检查、证据验证与反思式策略修订的智能体验证,以及超越回答预设问题的开放科学探索能力;模型 checkpoints 已开放。

    推荐理由:报告说明了子智能体并行协作、验证与开放科学探索三项改进的设计,适合关注长程智能体任务执行方法的读者。

  3. arXiv · cs.CL55

    七开源 RL 训练框架纳入论文追踪:1598 篇方法论文中仅 37 篇被纳入

    论文追踪七个开源 RL 后训练框架的提交历史,并关联 2025 年 1 月至 2026 年 6 月的 6939 篇 arXiv 论文。在 1598 篇提出通用 RL 训练方法的论文中,只有 37 篇被至少一个框架纳入;每季度队列在 180 天内纳入数量稳定在 5 到 7 篇,而队列规模从 72 篇增至 386 篇。被纳入的论文更常训练 30B 及以上参数的策略(41% 对 10%),更常修改现有损失中的系数、clip、mask 或权重(29% 对 9%);两个差距在剔除框架维护公司自身论文后依然成立,而代码开源比例在两组中相同。超过九成未被纳入的方法在框架 issues 中没有任何提及或引用。数据以追踪器形式发布,链接训练失败与框架实现并列出各框架贡献规则。

    推荐理由:论文用提交历史量化了 RL 论文进入开源训练框架的真实比例,数据可帮助读者评估方法复现和框架选型的落差。

  4. arXiv · cs.CL52

    BitMTP 提出面向超低比特大语言模型的多 token 预测加速框架

    BitMTP 提出算法与系统协同设计框架,在超低比特 LLM 骨干上实现高效多 token 预测(MTP),已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting,并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速,1.7B-4B Bonsai 模型为 2.1-2.4x,RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x,代码已开源。

    推荐理由:论文把多 token 预测与超低比特量化结合,给出跨 GPU 的实测加速比,方法与系统设计都可参考。

  5. arXiv · cs.CL53

    Lafa 论文提出 8B 连续流语言模型,吞吐达 AR 模型 2.54x

    Lafa 是一个扩到 8B 参数的连续流语言模型,采用块内双向流加因果前缀的块状结构,可通过适配预训练自回归模型来训练,并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型,其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐,优于多 token 预测和离散扩散方法,代码已开源。

    推荐理由:论文给出把连续流语言模型扩到 8B 的具体训练与推理方法,并附吞吐对比数据,适合关注非自回归架构的读者。

  1. arXiv · cs.AI52

    MetaSkill 论文提出用 DAG 运行时让 Agent Skills 可组合执行

    arXiv 论文 2610.24723 提出 MetaSkill,一种混合表示,在保留完整 Skill 包与本地自然语言指令的同时,通过有向无环图(DAG)运行时让调用依赖和前驱文本绑定变为可执行。在 20 项多 Skill 工件任务和 DeepSeek-V4-Flash、GLM-5.2 两个 LLM 上,与自然语言流程、Prompt Graph 及 AgentSkillOS 对比,盲评偏好点估计均占优,且 95% 任务 bootstrap 区间排除了与 Prompt Graph(DeepSeek-V4-Flash)和 OpenClaw(GLM-5.2)的持平;GLM-5.2 审计轨迹中所有计划节点完成、声明的先后约束全部满足。

    推荐理由:论文把 Skill 间协调关系形式化为可执行 DAG,同时保留 Skill 内自然语言灵活性,给出 20 项任务与两个 LLM 的对照实验结果。

  1. arXiv · cs.AI55

    CDSE 论文提出技能认知分化方法,提升自改进 Agent 表现

    论文提出技能演化中的认知分化方法 CDSE,把统一技能拆为 Meta、Experience、Tool、Script 四个功能组件,从成败轨迹中提取语义梯度并按功能角色做组件级更新与协调调用。对 500 个高分技能包的分析显示 96.8% 包含至少两种功能角色的知识;在六个基准、三个 Agent 模型、两种执行框架共 36 个设置中全部取得最高分,比 Base Agent 平均高 7.6 个百分点,比各设置最强对照方法平均高 2.6 个百分点。论文 22 页,编号 arXiv:2610.23599。

    推荐理由:论文用功能分化思路改造 Agent 技能演化,并在 36 个实验设置中给出对比数据,方法对技能库维护有参考价值。

  2. arXiv · cs.AI60

    免训练 on-policy 蒸馏方法提出,仅用前向传播即可合并专家模型

    一篇 arXiv 论文提出 training-free on-policy 蒸馏:不用训练,仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中,合并后平均精度高于任一专家。当专家共享同一 base 模型时,蒸馏有精确的逐层解,等价于一个最小二乘问题,只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后,在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平;在 Olmo 3 7B 上,每个专家只需几 GPU 小时的前向计算,即可在七个数学和代码基准上保留各专家的大部分增益。

    推荐理由:给出免训练合并多个专家模型的具体方法,层式最小二乘解只需几百条 rollout 的前向计算即可落地。

  3. arXiv · cs.AI69

    MLExpert 论文提出后训练方法,将 35B MoE 模型训练为自主机器学习工程智能体

    论文提出面向长时程自主机器学习工程优化的后训练方法,训练出 35B Mixture-of-Experts 智能体模型 MLExpert。方法包括构建可执行任务的 Kaggle-MLE Factory、层级 agentic SFT,以及将两次实验结果之间的多轮决策作为一个执行窗口并赋予共享结果奖励的 Windowed Interaction RL(WIRL)。在 MLE-Bench Lite 上,MLExpert 将基座模型平均奖牌率从 37.9% 提升到 72.7%,达到与 Kimi-K3、GLM-5.3 等更大前沿模型相当的水平,并在 NatureBench Lite、agent scaffold 优化和算法优化上显示能力可泛化。

    推荐理由:论文展示了用层级SFT加窗口化RL把35B模型训练成自主机器学习工程智能体的完整后训练方法,MLE-Bench Lite数字可作参考。

  1. arXiv · cs.CL59

    研究复检自蒸馏是否真能提升推理能力:SDPO 与 OPSD 收益难以泛化

    一篇 arXiv 论文(arXiv:2610.18613)重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现,发现其相对强化学习(RL)的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为,而非有效利用特权信息;自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3(1.7B-14B)和 OLMo-3-7B,结论是有效利用特权信息改进推理仍是开放问题,代码已开源。

    推荐理由:论文在代码、数学等多任务上复测 SDPO 和 OPSD,指出其收益主要来自过拟合而非特权信息,并给出复现代码。

  1. Hugging Face · 新模型:abliterated70

    msuiche 为 gemma-3-12b-it 发布 GLP 去拒绝控制向量

    Matt Suiche 在 Hugging Face 发布针对 google/gemma-3-12b-it 的投影控制向量(GLP),在层 5–47 的残差流上以 alpha 0.25 运行时应用,不修改权重。验证显示 refusal32 中原本仅存的 2 个拒绝在转向后变为连贯交付,benign32-holdout 32/32 保持正常,alpha 阶梯 0.25 至 1.0 均无损坏输出;层 1–4 因低于 5x 分离门槛被排除。该文件使用 glp.* GGUF 命名空间,仅限本地权重和实现投影的运行时,作者警告 alpha 值不可移植到其他模型或 revision。

    推荐理由:作者给出了投影向量的推导门槛、alpha 阶梯和拒绝率前后对照,还写明各层取舍与局限,可复现性远高于一般的无对齐发布。

  1. arXiv · cs.CL64

    Oído:在 5 美元 ESP32-S3 微控制器上实现无神经加速器的开放词表语音识别

    论文提出 Oído 推理引擎,在 ESP32-S3(240 MHz 双核、512 KB SRAM、无神经加速器)上运行 13M 参数 Conformer-CTC int8 模型,实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%,加 1.3M 参数语言模型后降至 3.33%/7.15%,transducer 头达 2.99%/6.67%,比同芯片厂商识别器少 2.3-2.8 倍错误,也优于笔记本全精度 Whisper 与 Moonshine tiny。

    推荐理由:论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据,方法与测量细节都可复现。

  2. arXiv · cs.AI55

    RoboRSI:基于自顶向下技能精化的稳定可复用机器人自进化系统

    Zimo Wen 等人发布 arXiv 论文 RoboRSI(arXiv:2610.12424),提出基于 Top-Down Skill Refinement(TSR)的机器人自我改进系统,将任务分解为复合、原子和基础技能,把执行结果归因到对应分支并只修改该分支,由 Manager、Planner、Engineer、Reviewer 协同完成规划、执行、诊断和新技能的验证发布。在移动操作机器人上经 104 轮学会多物体家庭清理,在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 仿真基准上取得最高成功率,超过最强基线 2.7 至 11.0 个百分点。

    推荐理由:原文给出了按技能分支归因修复的自进化框架和多个基准上的成功率数据,读者可以据此评估机器人自改进方法的可复用思路。