MENTOR:通过 on-policy 教学式干预从失败中学习,缓解 RLVR 零奖励坍缩
arXiv 论文提出多智能体框架 MENTOR,针对 RLVR 训练中的“零奖励坍缩”问题,实时诊断失败根因并动态生成针对性教学提示词,引导学习智能体的下一次尝试。它作为即插即用模块可无缝集成到 GRPO 等策略优化管线,无需改动训练基础设施。数学与代码生成实验显示其优于 SOTA 基线,Llama-3.2-3B-Instruct 相对基座模型平均相对提升最高达 78.3%。
新闻、仓库与研究,按时间排列。
arXiv 论文提出多智能体框架 MENTOR,针对 RLVR 训练中的“零奖励坍缩”问题,实时诊断失败根因并动态生成针对性教学提示词,引导学习智能体的下一次尝试。它作为即插即用模块可无缝集成到 GRPO 等策略优化管线,无需改动训练基础设施。数学与代码生成实验显示其优于 SOTA 基线,Llama-3.2-3B-Instruct 相对基座模型平均相对提升最高达 78.3%。
一项 arXiv cs.CL 研究分析了六个流行数据源的十个科学文档子集,发现机器生成文本检测器的高分部分源于文档构建方式带来的伪影。仅用 27 个表面特征的逻辑回归达到 0.833-0.997 macro-F1,在三个 arXiv 子集上以 0.951-0.997 F1 超越所有受测检测器;最强线索是 PDF 提取伪影(人工文本保留原始换行,生成文本被提取为整块文本),结合三项格式特征可达 0.996 AUC。作者提出格式反事实方法:仅重新换行不改一字即可翻转公开检测器 20-27% 的正确判断;训练前做格式归一化将泛化差距从 0.32 降至 0.22,在格式干净的基准上把域外 macro-F1 从 0.33 提升到 0.65。
该 GitHub 仓库收录了在不从头重训练的前提下刷新 LLM 世界知识的研究论文列表,配套综述已被 EMNLP 2023 接收并发布于 Arxiv。方法分为隐式与显式两类:隐式直接修改模型参数或权重,显式借助搜索引擎等外部资源覆盖内部知识;论文按知识编辑、持续预训练、记忆与检索增强等方向整理。
Yaning Fan 在 GitHub 发布 ChemHazard-LLM 的仅代码可复现包,涵盖五个开源大模型的 zero-shot 与 LoRA 筛选、种子 123/777/2025 的三成员集成、Bemis-Murcko 骨架评估及 NITE Japan-GHS 外部测试集流程。数据目录、模型权重和 LoRA 适配器不随包分发,完整复现历史分数需按 DATA_REQUIREMENTS.md 自行获取输入。代码采用 MIT License,计划通过 GitHub-Zenodo 集成归档发布。
该 arXiv 论文提出 Step-wise Truncation Probing(STP)方法,在固定采样推理轨迹的多个保留前缀上重复生成答案,以刻画模型-任务层面的过度思考现象,并定义 Overthinking Ratio 与 Accuracy Degradation 两个指标。论文将动态路由、固定预算和动态提前退出纳入统一框架,基于 STP 测量为各策略构建 token-精度 Pareto 前沿。作者还开发了可复用基准 OTBench,覆盖 70.5B 推理 token、六个模型和四组基准。
一项 arXiv 实证研究将 SWE-bench 与 SWE-bench-Live 验证集的 FAIL_TO_PASS 测试用于评估补丁运行时性能,测试 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 与 Qwen 3.8 Max 配合 SWE-agent 生成的 262 个含多种正确解的案例。借助 Welch ANOVA 判据,该方法在近半数实例中发现显著性能差异,且补丁运行性能与模型 issue 解决率无关,模型排名几乎相反。研究还发现部分补丁存在正确性评测未察觉的架构性能回退,表明解决率不足以刻画 LLM 的仓库级修复能力。
Guruvignesh R M 发布的 M.Tech 研究工作流仓库,用 LLM 对运动感知去模糊与视觉感知文献做筛选和映射:4,642 条 Scopus 记录去重为 3,799 条,经 LLM 筛选保留 1,947 篇(KEEP/MAYBE/REJECT 为 1,054/893/1,852),再通过 768 维嵌入、UMAP 和 HDBSCAN 划分为 31 个簇及 468 条噪声记录,最终产出 45 篇阅读清单。历史脚本使用 gemma-4-26b-a4b-it 做筛选与主题摘要、gemini-embedding-2 做嵌入;仓库附带发布脚本 SHA256 与离线验证记录,但历史 API 流水线未重新运行。
GitHub 开源仓库 rag-masterclass 提供越南语 LLM 与 RAG 课程,约 8–9 小时学习量,含 14 个理论模块和 5 个实战 lab,围绕 Zendesk 客服 AI 场景展开。内容覆盖 Embedding、chunking、检索、reranking、Agentic RAG、微调、评估到生产部署,并以构建 Zendesk AI 客服系统作为 Capstone。仓库基于 MkDocs Material 搭建,推送到 main 后自动部署至 GitHub Pages。
研究者推出 BASIS-Bench 基准,从人口群体稳健性、刻板印象偏见和个性化三个维度,评测八个语音 LLM 能否区分有益个性化与刻板行为。结果显示,多数模型虽能识别人口群体线索,却无法将其转化为恰当的个性化响应;显式人口标签虽提升个性化,但也放大了文本底座中已有的刻板联想。
基于 BLEnD(NeurIPS 2024)基准,该 ML 项目为 Gemma 3 4B、Mistral 7B、Qwen2.5 3B 加入推理时区域感知检索(无微调),低资源国家(阿塞拜疆、埃塞俄比亚)平均 SEM-B 准确率从 28.3% 升至 48.7%,提升 20.4 分,高低资源差距从 27.2 缩小到 2.0 分。方案含 KB v2 知识卡、bge-m3 top-20 检索、MiniLM 重排(阈值 0.45)与自适应门控,拒绝率从 7-20% 降至 1-5%,但高资源国家平均下降 4.8 分。
Joseph Egan 等人发布 arXiv 论文,提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法,利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向,可放大以解释特征或投影去除以抑制其表达;在 Cloud et al. (2026) 的 subliminal-learning 基准上,无需特征标签即恢复了传递的动物偏好特征,且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由:提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法,为蒸馏继承对齐风险提供了可操作的缓解思路。
一项 arXiv 研究发现 S-Space——多模态语言模型(MLLM)内部一个线性表示子空间,其中 object-token 表示编码水平、垂直和距离轴上的连续坐标,充当模型的内部空间工作空间。因果干预表明感知将物体位置编码其中,内部推理在其中变换视角,语言响应选择性读取它。诊断进一步显示 MLLM 能形成有效的空间表示,但在视角变化所需的空间变换上存在关键瓶颈。
研究者提出 RESCUE,一个反事实评估框架,用于判断机器人策略运行时监控器的报警是否能支持有效干预。该框架通过在执行检查点恢复模拟器与策略状态,比较不同动作并评估干预是否降低任务完成成本,基于 OpenVLA-OFT 与 π0.5 在 LIBERO-Spatial 和 LIBERO-Plus 上使用 128,340 个反事实分支进行验证。结果显示,在 stop-and-reset 模型下,即使是理想检测器,误报率超过 2.0–3.3% 时不必要的重置成本就会超过提前停止故障的收益。
研究者推出 PRISM,一种用于临床预后的检索增强多模态语言模型,结合逐特征数值 tokenization、近期加权的纵向 ECG 聚合和双模态人群记忆库,检索在表示空间进行,提示词不含个体记录。在 1,443 任务的 MDS-ED 基准上,PRISM 对恶化预测 AUROC 达 93.1%,ICU 入住 91.8%,死亡 92.8%,诊断 86.2%;消融显示用文本序列化替代数值 EHR 编码使 AUROC 下降 3.66 点。在外部 MC-MED 队列上,监督微调达到 0.8611 AUROC,高于本地训练的 gradient boosting 的 0.8227 和源模型 PRISM 的 0.7841。
研究者提出归因框架 Explanatory World Models(EWM),用前沿语言模型生成的解释替代按时间邻近性传播奖励的方式,识别促成最终结果的早期事件。在 Crafter 和 WordCraft 上 EWM 大幅超越 PPO 与 LaRe,奖励越延迟收益越大;在 KuaiRand 上离线优于 SFT 与 LaRe,在线优于 A2C,并在工业级生成式推荐器离线评估中提升 Recall。
论文提出 Humanize MLE Agents(HMA),通过两个智能体在共享工作区上交替执行、每会话最多 k 次实验并重置上下文,避免单会话长程减速和自定义 harness 随模型升级失效的问题。在 MLE-bench 的 75 个 Kaggle 任务上,HMA 达到 78.2% 的 any-medal 率,超过最强开源基线 8.0 个百分点且只用其四分之一时间预算;跨五种异构智能体对的六种配置平均提升 6.4 个百分点,另有核优化案例达到 878 个周期、距社区榜首 1.6%。
推荐理由:论文给出双智能体会话轮换的 CR-SMDP 理论条件与 75 个 Kaggle 任务实测数据,读者可据此评估工作流级方法相对单智能体的优势边界。
POrchestra 是一个即时主动式 agentic 编排框架,允许子智能体在任意逻辑点主动向编排器请求调整 harness,同时保持本地执行连续性。该机制还启发了基于事后反馈的 On-Policy Orchestration Distillation(OPOD),将子智能体的修订请求归因到前置编排决策以生成过程监督信号。在深度研究、动态数字助手和软件工程三项长程 agent 基准上,POrchestra 较最强基线平均提升任务成功率 9.1%,结合 OPOD 使小编排器成功率较现有训练基线平均提升 10.0%,代码已开源。
研究者提出 BranchOPD(Branching On-Policy Distillation),基于学生不确定性与师生分歧选择信息量大的决策点,从共享前缀分支重采样并对主轨迹与分支施加 token 级教师监督。共享前缀复用使学生生成 token 开销在 ALFWorld 和 WebShop 上分别降低约 19% 和 31%(相对 7 条独立轨迹);相比 Vanilla OPD,平均数学准确率(avg@16)提升 18.55 个百分点,ALFWorld ID/OOD 平均成功率提升 13.8 个百分点。
一项 arXiv 研究提出基于笔记本电脑本地 LM 的 agentic AI 框架,用于自适应生成边缘场景,成本低、可控且保障数据隐私。系统采用 think-act-observe-update-continue 循环和轻量 JSON 编码,以系统需求、系统与环境描述作为知识库构建提示词,并由第二个独立 LM 按领域标准批评并改进场景。改进后的场景在仿真中运行并收集评估指标,通过事后聚类与主题分析定位功能缺口及触发条件,为安全论证生成可追溯证据。
一项arXiv研究指出,RSA、CKA、Procrustes等表征相似性度量都在条件集给定之后才起作用,而条件集由输入的取舍与分组两个前置决定固定。实验在十五种语言、二十七种表征上以元音的声学组织为参照:固定类别数量时改变比较哪些类别,会使两个表征之间的差距变动超过所测效应的两倍;改变类别数量则毫无影响。在该设定下,模型排名受这些选择影响而可被识别,跨语言的排名则不能。
sakanarm 在 GitHub 发布 ConveyorFlow 实验性复现包,实现异构 LLM Agent 团队的去中心化能力感知任务自选:空闲 Agent 检查共享 READY 任务带、评估可行性并通过原子 compare-and-swap 认领任务。仓库包含冻结仿真设计(22,500 次运行、50 配对种子)、源自 UCI Adult 等公开数据的任务,以及 60 个冻结案例的真 LLM 验证;仓库未存储任何 API 密钥,许可证尚未确定。
grounded-llm 项目研究 LLM 能否通过 cross-attention 读取并利用显式状态地图,以改善动作选择与长程任务完成。当前实验冻结 Qwen2.5-1.5B-Instruct 和地图,只训练读取接口;寻路沿用地址 K 与状态 V 分离方案,积木任务加入融合 FFN 和失败上下文重新训练,答案限 Top-10。项目还公布了大 batch 负结果与小 batch 证据状态等本轮结果。
该 GitHub 仓库发布论文 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments" 的实现与实验代码,论文由 John Smith 等人撰写,目前正在 COAI 2025 会议评审中。论文提出优化策略以增强 LLM 在多任务环境下的上下文推理能力,实验结果显示在动态环境中具有更强的适应性。仓库标注"To be released",将陆续提供完整实现、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。
arXiv 论文提出 Squint Text 概念,指多模态大模型无法读取人类眯眼可辨认的、嵌入图像粗结构的文字,并发布包含 1076 张生产环境审核图片的 SquintBench。诊断显示空间选择是主要瓶颈。提出的 Squint OPSD 训练方法让冻结教师以缩放视图和真实转写为特权上下文监督学生模型,推理时学生仅凭原图即达 88.61 ANLS,而未适配骨干仅 26.50。
Pablo Manrique 等在 arXiv 发布 SqueezeBench,一个抗饱和的数学能力基准,每题固定一个仅在小区间取值已知的整数函数 f(n),提交者用机器证明的 Lean 函数给出更优上下界记录,成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录,前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录;两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由:提出以记录递进式构造衡量数学能力,缓解基准饱和问题,并给出多代模型代理的实测数据。
Niki Van Stein 在 arXiv 发布 472 页教科书《Agentic Large Language Models》,系统讲解智能体大语言模型(Agentic LLMs)的工作原理。该书探讨 LLM 如何在真实世界中行动、模型之间如何交互,以及这对用户意味着什么。
论文提出 Oído 推理引擎,在 ESP32-S3(240 MHz 双核、512 KB SRAM、无神经加速器)上运行 13M 参数 Conformer-CTC int8 模型,实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%,加 1.3M 参数语言模型后降至 3.33%/7.15%,transducer 头达 2.99%/6.67%,比同芯片厂商识别器少 2.3-2.8 倍错误,也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由:论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据,方法与测量细节都可复现。
一项发表于 ICNLSP 2026 的研究基于 DistilHuBERT 和 L2-ARCTIC 及多个外部英语口音数据集,重审口音分类的鲁棒性。结果显示 file-level 评估会明显高估性能,说话人分离评估更能反映对未见说话人的泛化;仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC,置信度过滤的伪标签在域失配下也不够。研究建议鲁棒评估应同时包含说话人分离与跨语料库测试。
EdgeAI-2000 在 GitHub 开源了 hls_game_theory 仓库,探索将 LLM 与博弈论结合用于多智能体的信念塑造(belief shaping)。该仓库目前仅包含 1 个 commit,文件包括 README.md 和 .gitignore,内容仍处于早期阶段。
一项 arXiv 研究在自动驾驶车(AV)自利通行时间奖励中加入边际成本社会分量,用反事实仿真衡量 AV 对其他道路用户的影响,并基于 MARL 在 Ingolstadt 和 Provins 真实路网验证。Ingolstadt 中 40% AV 渗透率下,自利路由使其他车辆通行时间增加 1.7%,引入社会奖励后降至 1.1%,且 AV 自身与整体系统表现也改善。只对影响最大的 AV 计算边际成本可在大幅降低计算成本的同时取得相近性能。
研究者提出 Rollout-Time Intervention(RTI),在 rollout 阶段利用奖励侧证据(评测 rubric)将错误轨迹转化为成功轨迹,缓解智能体 RL 的 on-policy 推理瓶颈。过滤分布偏移过大的轨迹后,这些 off-policy 轨迹仍能有效引导策略优化。在五个 benchmark 上 RTI 持续超越 RL 基线,使后训练策略接近更强的当代 LLM 并突破原有能力边界,代码已开源。
研究者在 7.5 亿事件的 COLLIDE-2V 数据集上比较了监督与自监督神经嵌入策略用于 LHC 异常检测,以潜空间自编码器重建误差为异常分数;监督目标在所有 held-out 过程的 10% 背景接受度信号效率上优于自监督并超过直接用运动学特征训练的自编码器。作者还提出局部诊断流程,用高斯混合模型拟合标准模型潜空间、定位异常事件并按局部判别力排序观测量,发现判别力最强的观测量未必是异常分数最紧跟随的观测量。
一项 arXiv 研究提出用 Sigmoid 标签编码信号源 DOA(波达方向),以解决分类式 DOA 方法的网格量化误差问题。该方法对 CNN-Transformer 网络输出求微分,可在源角度处生成尖锐谱峰,配合 0.25 度的细化网格步长,实现亚度级精度和 1 度分辨率。统一主干下的对比实验显示,Sigmoid 标签的精度与分辨率优于 Gaussian 标签、0-1 硬标签和 BCE 基线。
一项 arXiv 研究将 Whisper-small 从通用语音语料适配到 Earnings22 财报电话会基准,发现同域财经语音上出现提升而非灾难性遗忘,任务互补使正则化反而有害。当确需正则化时,分层 mini-KFAC 近似比标准对角 EWC 取得更低的词错率(WER)和更稳定的优化。研究建议先评估任务互补性,必要时优先选择 mini-KFAC EWC。
研究者提出 Web$hell,一个把网页访问统一到单一访问模型的接口:WebCompiler 依据 WebContract 将网页编译为可寻址的信息与操作对象,存于 WebCache 并通过共享操作集处理,为 LLM 智能体提供一致、可操作且持久的网页访问。在网页搜索、网页导航和深度研究 benchmark 上的实验显示,Web$hell 能以更低成本取得较强的任务表现。
ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现代码在 GitHub 开源,采用 Apache 2.0 许可证。该方法支持实时自适应、持续学习且避免灾难性遗忘,无需全量重训练。在四类动态环境中,性能较基线 LLM 提升 +16.8% 至 +19.1%,例如时序变化场景从 69.8% 提升至 88.9%。
该 arXiv 论文提出面向系统辨识的统一概率元学习架构,将基于 Transformer 的编码器-解码器与针对长训练序列的机制结合,实现零样本预测和长时程校准。研究还展示预训练元模型可作为不确定性感知的合成数据生成器,在真实数据稀缺时为经典参数模型提供正则化。框架在标准非线性系统辨识基准和分布外场景上达到与 SOTA 方法相当的精度,仅靠输入侧适配即可应对显著分布偏移。
研究者提出 RegulaTutor,一个基于自我调节学习(SRL)研究的长期个性化辅导框架,将历史证据、学习者解读与教学策略相连,并采用认知、情感、元认知和动机(CAMM)框架推导有证据支持的教学策略。该框架还包含 PairRoute 离线流程,可区分 harness、模型和混合故障并进行针对性改进。在所评测的模型配置上,RegulaTutor 平均提升了历史证据准确率、学习者诊断和评审的教学质量。
研究者对藏语 NLP 进行了据称为首个同行评审的系统性文献计量调查,覆盖 ACL Anthology 和 DBLP 中 2004 至 2026 年的 140 篇论文,其中 84% 发表于 2018 年之后。中国机构研究者完成 87% 的论文,涵盖全部 25 个研究方向,研究沿语料、分词、文字、语音到 LLM 的完整管线自下而上扩展。仅 29% 的论文公开数据、代码或模型,作者建议在方言覆盖、评测与开放科学等方面加强建设。
研究者提出 ProgramGym 框架,包含 Program-Env 和 Program-Agent,用于长程程序复现智能体的可验证训练环境。Program-Env 通过反馈驱动循环构建了 1,648 个覆盖 C、C++、Go 和 Rust 的训练环境;Qwen3.8-27B 经微调后性能从 34.87% 提升至 42.84%,Program-Agent 进一步将基础和 SFT 模型提升到 55.71% 和 56.25%。ProgramGym 将开源发布以支持从零构建程序的 coding agent 研究。