BLiMPPI:面向极性项的语言学最小对评测基准
研究者推出 BLiMPPI,一个覆盖 33 种语言、包含超 12,000 个负极性项(NPI)最小对的多元评测套件,通过在 Universal Dependencies 树库中发现 NPI、标注许可环境并扰动生成最小对构建。对 12 个多语言模型、2 个单语模型及 n-gram 基线的评测显示,多语言模型在低资源语言和无法用 n-gram 解决的题对上表现最差。研究还考察了 NPI 类型学、语系、许可变异性与许可距离的影响。
新闻、仓库与研究,按时间排列。
研究者推出 BLiMPPI,一个覆盖 33 种语言、包含超 12,000 个负极性项(NPI)最小对的多元评测套件,通过在 Universal Dependencies 树库中发现 NPI、标注许可环境并扰动生成最小对构建。对 12 个多语言模型、2 个单语模型及 n-gram 基线的评测显示,多语言模型在低资源语言和无法用 n-gram 解决的题对上表现最差。研究还考察了 NPI 类型学、语系、许可变异性与许可距离的影响。
arXiv 论文 zip2zip++ 提出仅改进压缩层与 LZW codec、不动底层预训练模型,来缩小 LZW 动态词表压缩带来的质量差距。方法包括解耦输入/输出动态 embedding 层、size-aware RoPE 定位以及支持选择性合并和多视角分段的改进 LZW codec。在四个模型上,该方案在所有评估语料上降低了 perplexity 并提升数学推理准确率,在相近压缩比下弥合约一半与未压缩基线之间的质量差距。
AudioTETRIS 是一个 training-free 的两阶段框架,利用音频编码器的表示几何作为声学先验,计算逐 token 融合分数并跨 decoder 层进行渐进式 top-k token 选择。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上,仅用 25% 音频 token 即可在多项语音任务上保持接近未压缩的性能,并在中等压缩率下达到或超过全 token 准确率,持续优于现有 training-free 基线。
arXiv 论文提出多智能体框架 MENTOR,针对 RLVR 训练中的“零奖励坍缩”问题,实时诊断失败根因并动态生成针对性教学提示词,引导学习智能体的下一次尝试。它作为即插即用模块可无缝集成到 GRPO 等策略优化管线,无需改动训练基础设施。数学与代码生成实验显示其优于 SOTA 基线,Llama-3.2-3B-Instruct 相对基座模型平均相对提升最高达 78.3%。
一项 arXiv cs.CL 研究分析了六个流行数据源的十个科学文档子集,发现机器生成文本检测器的高分部分源于文档构建方式带来的伪影。仅用 27 个表面特征的逻辑回归达到 0.833-0.997 macro-F1,在三个 arXiv 子集上以 0.951-0.997 F1 超越所有受测检测器;最强线索是 PDF 提取伪影(人工文本保留原始换行,生成文本被提取为整块文本),结合三项格式特征可达 0.996 AUC。作者提出格式反事实方法:仅重新换行不改一字即可翻转公开检测器 20-27% 的正确判断;训练前做格式归一化将泛化差距从 0.32 降至 0.22,在格式干净的基准上把域外 macro-F1 从 0.33 提升到 0.65。
该 GitHub 仓库收录了在不从头重训练的前提下刷新 LLM 世界知识的研究论文列表,配套综述已被 EMNLP 2023 接收并发布于 Arxiv。方法分为隐式与显式两类:隐式直接修改模型参数或权重,显式借助搜索引擎等外部资源覆盖内部知识;论文按知识编辑、持续预训练、记忆与检索增强等方向整理。
该 arXiv 论文提出 Step-wise Truncation Probing(STP)方法,在固定采样推理轨迹的多个保留前缀上重复生成答案,以刻画模型-任务层面的过度思考现象,并定义 Overthinking Ratio 与 Accuracy Degradation 两个指标。论文将动态路由、固定预算和动态提前退出纳入统一框架,基于 STP 测量为各策略构建 token-精度 Pareto 前沿。作者还开发了可复用基准 OTBench,覆盖 70.5B 推理 token、六个模型和四组基准。
一项 arXiv 实证研究将 SWE-bench 与 SWE-bench-Live 验证集的 FAIL_TO_PASS 测试用于评估补丁运行时性能,测试 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 与 Qwen 3.8 Max 配合 SWE-agent 生成的 262 个含多种正确解的案例。借助 Welch ANOVA 判据,该方法在近半数实例中发现显著性能差异,且补丁运行性能与模型 issue 解决率无关,模型排名几乎相反。研究还发现部分补丁存在正确性评测未察觉的架构性能回退,表明解决率不足以刻画 LLM 的仓库级修复能力。
研究者推出 BASIS-Bench 基准,从人口群体稳健性、刻板印象偏见和个性化三个维度,评测八个语音 LLM 能否区分有益个性化与刻板行为。结果显示,多数模型虽能识别人口群体线索,却无法将其转化为恰当的个性化响应;显式人口标签虽提升个性化,但也放大了文本底座中已有的刻板联想。
Joseph Egan 等人发布 arXiv 论文,提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法,利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向,可放大以解释特征或投影去除以抑制其表达;在 Cloud et al. (2026) 的 subliminal-learning 基准上,无需特征标签即恢复了传递的动物偏好特征,且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由:提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法,为蒸馏继承对齐风险提供了可操作的缓解思路。
一项 arXiv 研究发现 S-Space——多模态语言模型(MLLM)内部一个线性表示子空间,其中 object-token 表示编码水平、垂直和距离轴上的连续坐标,充当模型的内部空间工作空间。因果干预表明感知将物体位置编码其中,内部推理在其中变换视角,语言响应选择性读取它。诊断进一步显示 MLLM 能形成有效的空间表示,但在视角变化所需的空间变换上存在关键瓶颈。
研究者提出 RESCUE,一个反事实评估框架,用于判断机器人策略运行时监控器的报警是否能支持有效干预。该框架通过在执行检查点恢复模拟器与策略状态,比较不同动作并评估干预是否降低任务完成成本,基于 OpenVLA-OFT 与 π0.5 在 LIBERO-Spatial 和 LIBERO-Plus 上使用 128,340 个反事实分支进行验证。结果显示,在 stop-and-reset 模型下,即使是理想检测器,误报率超过 2.0–3.3% 时不必要的重置成本就会超过提前停止故障的收益。
研究者推出 PRISM,一种用于临床预后的检索增强多模态语言模型,结合逐特征数值 tokenization、近期加权的纵向 ECG 聚合和双模态人群记忆库,检索在表示空间进行,提示词不含个体记录。在 1,443 任务的 MDS-ED 基准上,PRISM 对恶化预测 AUROC 达 93.1%,ICU 入住 91.8%,死亡 92.8%,诊断 86.2%;消融显示用文本序列化替代数值 EHR 编码使 AUROC 下降 3.66 点。在外部 MC-MED 队列上,监督微调达到 0.8611 AUROC,高于本地训练的 gradient boosting 的 0.8227 和源模型 PRISM 的 0.7841。
研究者提出归因框架 Explanatory World Models(EWM),用前沿语言模型生成的解释替代按时间邻近性传播奖励的方式,识别促成最终结果的早期事件。在 Crafter 和 WordCraft 上 EWM 大幅超越 PPO 与 LaRe,奖励越延迟收益越大;在 KuaiRand 上离线优于 SFT 与 LaRe,在线优于 A2C,并在工业级生成式推荐器离线评估中提升 Recall。
论文提出 Humanize MLE Agents(HMA),通过两个智能体在共享工作区上交替执行、每会话最多 k 次实验并重置上下文,避免单会话长程减速和自定义 harness 随模型升级失效的问题。在 MLE-bench 的 75 个 Kaggle 任务上,HMA 达到 78.2% 的 any-medal 率,超过最强开源基线 8.0 个百分点且只用其四分之一时间预算;跨五种异构智能体对的六种配置平均提升 6.4 个百分点,另有核优化案例达到 878 个周期、距社区榜首 1.6%。
推荐理由:论文给出双智能体会话轮换的 CR-SMDP 理论条件与 75 个 Kaggle 任务实测数据,读者可据此评估工作流级方法相对单智能体的优势边界。
POrchestra 是一个即时主动式 agentic 编排框架,允许子智能体在任意逻辑点主动向编排器请求调整 harness,同时保持本地执行连续性。该机制还启发了基于事后反馈的 On-Policy Orchestration Distillation(OPOD),将子智能体的修订请求归因到前置编排决策以生成过程监督信号。在深度研究、动态数字助手和软件工程三项长程 agent 基准上,POrchestra 较最强基线平均提升任务成功率 9.1%,结合 OPOD 使小编排器成功率较现有训练基线平均提升 10.0%,代码已开源。
研究者提出 BranchOPD(Branching On-Policy Distillation),基于学生不确定性与师生分歧选择信息量大的决策点,从共享前缀分支重采样并对主轨迹与分支施加 token 级教师监督。共享前缀复用使学生生成 token 开销在 ALFWorld 和 WebShop 上分别降低约 19% 和 31%(相对 7 条独立轨迹);相比 Vanilla OPD,平均数学准确率(avg@16)提升 18.55 个百分点,ALFWorld ID/OOD 平均成功率提升 13.8 个百分点。
一项 arXiv 研究提出基于笔记本电脑本地 LM 的 agentic AI 框架,用于自适应生成边缘场景,成本低、可控且保障数据隐私。系统采用 think-act-observe-update-continue 循环和轻量 JSON 编码,以系统需求、系统与环境描述作为知识库构建提示词,并由第二个独立 LM 按领域标准批评并改进场景。改进后的场景在仿真中运行并收集评估指标,通过事后聚类与主题分析定位功能缺口及触发条件,为安全论证生成可追溯证据。
一项arXiv研究指出,RSA、CKA、Procrustes等表征相似性度量都在条件集给定之后才起作用,而条件集由输入的取舍与分组两个前置决定固定。实验在十五种语言、二十七种表征上以元音的声学组织为参照:固定类别数量时改变比较哪些类别,会使两个表征之间的差距变动超过所测效应的两倍;改变类别数量则毫无影响。在该设定下,模型排名受这些选择影响而可被识别,跨语言的排名则不能。
arXiv 论文提出 Squint Text 概念,指多模态大模型无法读取人类眯眼可辨认的、嵌入图像粗结构的文字,并发布包含 1076 张生产环境审核图片的 SquintBench。诊断显示空间选择是主要瓶颈。提出的 Squint OPSD 训练方法让冻结教师以缩放视图和真实转写为特权上下文监督学生模型,推理时学生仅凭原图即达 88.61 ANLS,而未适配骨干仅 26.50。
Pablo Manrique 等在 arXiv 发布 SqueezeBench,一个抗饱和的数学能力基准,每题固定一个仅在小区间取值已知的整数函数 f(n),提交者用机器证明的 Lean 函数给出更优上下界记录,成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录,前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录;两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由:提出以记录递进式构造衡量数学能力,缓解基准饱和问题,并给出多代模型代理的实测数据。
Niki Van Stein 在 arXiv 发布 472 页教科书《Agentic Large Language Models》,系统讲解智能体大语言模型(Agentic LLMs)的工作原理。该书探讨 LLM 如何在真实世界中行动、模型之间如何交互,以及这对用户意味着什么。
论文提出 Oído 推理引擎,在 ESP32-S3(240 MHz 双核、512 KB SRAM、无神经加速器)上运行 13M 参数 Conformer-CTC int8 模型,实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%,加 1.3M 参数语言模型后降至 3.33%/7.15%,transducer 头达 2.99%/6.67%,比同芯片厂商识别器少 2.3-2.8 倍错误,也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由:论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据,方法与测量细节都可复现。
一项发表于 ICNLSP 2026 的研究基于 DistilHuBERT 和 L2-ARCTIC 及多个外部英语口音数据集,重审口音分类的鲁棒性。结果显示 file-level 评估会明显高估性能,说话人分离评估更能反映对未见说话人的泛化;仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC,置信度过滤的伪标签在域失配下也不够。研究建议鲁棒评估应同时包含说话人分离与跨语料库测试。
一项 arXiv 研究在自动驾驶车(AV)自利通行时间奖励中加入边际成本社会分量,用反事实仿真衡量 AV 对其他道路用户的影响,并基于 MARL 在 Ingolstadt 和 Provins 真实路网验证。Ingolstadt 中 40% AV 渗透率下,自利路由使其他车辆通行时间增加 1.7%,引入社会奖励后降至 1.1%,且 AV 自身与整体系统表现也改善。只对影响最大的 AV 计算边际成本可在大幅降低计算成本的同时取得相近性能。
研究者提出 Rollout-Time Intervention(RTI),在 rollout 阶段利用奖励侧证据(评测 rubric)将错误轨迹转化为成功轨迹,缓解智能体 RL 的 on-policy 推理瓶颈。过滤分布偏移过大的轨迹后,这些 off-policy 轨迹仍能有效引导策略优化。在五个 benchmark 上 RTI 持续超越 RL 基线,使后训练策略接近更强的当代 LLM 并突破原有能力边界,代码已开源。
研究者在 7.5 亿事件的 COLLIDE-2V 数据集上比较了监督与自监督神经嵌入策略用于 LHC 异常检测,以潜空间自编码器重建误差为异常分数;监督目标在所有 held-out 过程的 10% 背景接受度信号效率上优于自监督并超过直接用运动学特征训练的自编码器。作者还提出局部诊断流程,用高斯混合模型拟合标准模型潜空间、定位异常事件并按局部判别力排序观测量,发现判别力最强的观测量未必是异常分数最紧跟随的观测量。
一项 arXiv 研究提出用 Sigmoid 标签编码信号源 DOA(波达方向),以解决分类式 DOA 方法的网格量化误差问题。该方法对 CNN-Transformer 网络输出求微分,可在源角度处生成尖锐谱峰,配合 0.25 度的细化网格步长,实现亚度级精度和 1 度分辨率。统一主干下的对比实验显示,Sigmoid 标签的精度与分辨率优于 Gaussian 标签、0-1 硬标签和 BCE 基线。
一项 arXiv 研究将 Whisper-small 从通用语音语料适配到 Earnings22 财报电话会基准,发现同域财经语音上出现提升而非灾难性遗忘,任务互补使正则化反而有害。当确需正则化时,分层 mini-KFAC 近似比标准对角 EWC 取得更低的词错率(WER)和更稳定的优化。研究建议先评估任务互补性,必要时优先选择 mini-KFAC EWC。
研究者提出 Web$hell,一个把网页访问统一到单一访问模型的接口:WebCompiler 依据 WebContract 将网页编译为可寻址的信息与操作对象,存于 WebCache 并通过共享操作集处理,为 LLM 智能体提供一致、可操作且持久的网页访问。在网页搜索、网页导航和深度研究 benchmark 上的实验显示,Web$hell 能以更低成本取得较强的任务表现。
该 arXiv 论文提出面向系统辨识的统一概率元学习架构,将基于 Transformer 的编码器-解码器与针对长训练序列的机制结合,实现零样本预测和长时程校准。研究还展示预训练元模型可作为不确定性感知的合成数据生成器,在真实数据稀缺时为经典参数模型提供正则化。框架在标准非线性系统辨识基准和分布外场景上达到与 SOTA 方法相当的精度,仅靠输入侧适配即可应对显著分布偏移。
研究者提出 RegulaTutor,一个基于自我调节学习(SRL)研究的长期个性化辅导框架,将历史证据、学习者解读与教学策略相连,并采用认知、情感、元认知和动机(CAMM)框架推导有证据支持的教学策略。该框架还包含 PairRoute 离线流程,可区分 harness、模型和混合故障并进行针对性改进。在所评测的模型配置上,RegulaTutor 平均提升了历史证据准确率、学习者诊断和评审的教学质量。
研究者对藏语 NLP 进行了据称为首个同行评审的系统性文献计量调查,覆盖 ACL Anthology 和 DBLP 中 2004 至 2026 年的 140 篇论文,其中 84% 发表于 2018 年之后。中国机构研究者完成 87% 的论文,涵盖全部 25 个研究方向,研究沿语料、分词、文字、语音到 LLM 的完整管线自下而上扩展。仅 29% 的论文公开数据、代码或模型,作者建议在方言覆盖、评测与开放科学等方面加强建设。
研究者提出 MoPrO-SD,一种针对立场检测的提示词优化框架,将提示词分解为语义模块并用 LLM 反馈依次优化,包含 I、I+R、I+R+E 三种策略。团队还发布人工标注的疫苗立场检测 benchmark VaccineStance。在四个数据集和五个开源权重 LLM 上,MoPrO-SD 多数场景优于人工 Base 提示词,SemEval-2016 上五个 backbone 中四个的类条件反馈取得更高 Macro-F1,代码与数据集已在 GitHub 开放。
一项系统性机制分析研究了 LLM 量规设计中的准则组织、准则操作化与分数聚合,发现结构性组织有助于构建更全面的准则,仅靠语义细化不足以保证准则级判断有效,而复杂的分数聚合带来的额外收益有限。基于这些发现,研究者提出 Adaptive Rubric Tree Search with Hybrid refinement(ARTS-Hybrid),结合自适应树构建与语义优先、响应校准的细化方法。跨基准实验显示 ARTS-Hybrid 同时提升了端到端评估性能与量规本身的质量,其生成的量规还能为模型优化提供有效信号。
一项研究提出基于输入类别的专家选择偏置方法,引导 MoE 大语言模型中的 token 路由到专门的专家子集,从而缓解预训练数据不平衡对少数类别的容量限制。在最大 10.6B 参数的模型上,该方法在多模态、低资源语言和代码任务上带来提升,在最小与最大模型规模下分别相当于多训练 18.5% 和 2.7% 的 baseline tokens,且保留标准 MoE 推理。
研究者推出 AgentSWE 基准,测试编程智能体能否按自然语言需求忠实构建、编辑和优化智能体,覆盖智能体开发全生命周期的 25 个任务。评估发现没有任何被测智能体接近完全满足需求,“演示的与交付的存在差距”是常态而非个例。失败轨迹分析归纳出对可见样例过拟合、代码看似完整但运行时空洞、以及无依据的完成声明等典型失败模式。
SWE-Critix 是一个用于训练编程智能体轨迹通用验证器的后训练 pipeline,结合 SFT 与 RL,基于 CodeForge-Preview 轨迹训练了 30B 模型,可预测任务完成标签并生成自然语言分析。在留出测试集上,分类准确率从基座 Qwen3-30B-A3B 的 57% 提升至 SFT 后的 66%、RL 后的 78%。模型、数据集与训练代码均已开源发布。
一篇 arXiv 论文提出 AlphaNIST,仅用稀疏二值任务奖励,在仿真中从零训练单一策略完成 NIST Assembly Task Board #1 上全部 20 个装配任务,训练总成功率达 98.2%,无需示教、进度奖励塑形、脚本化原语或逐任务调参。该框架还能在一个回合内以任意顺序完成十对装配。学到的策略涌现出灵巧操作与类规划行为,如为后续装配选择抓取、利用环境几何重定向零件等。
论文提出 T²Mem,一种将记忆构建推迟到推理阶段的测试时记忆构建框架,离线只提取轻量级片段元数据作为检索线索,并在推理时随推理进程自适应组织查询相关记忆。在 LoCoMo 和 LongMemEval 上,T²Mem 跨多个骨干 LLM 持续优于强基线,同时大幅降低记忆构建开销。代码已开源。
推荐理由:论文把记忆构建推迟到推理阶段,在 LoCoMo 和 LongMemEval 上的对比数据可帮助读者评估这一思路的收益与开销。