将英语质量分类器适配至多语言 LLM 预训练数据选择
一项 arXiv 研究提出把现有英语质量分类器改造为多语言版本的方法,用于超过 100 种语言的 LLM 预训练数据筛选。方法是在 Transformer encoder-only 模型嵌入上训练小型 MLP,以机器翻译文本的英语分类器评分作为标签。1B、3B 和 8B 规模实验显示其效果与现有多语言模型过滤基线相当,且不损害区域与文化知识 benchmark,分类器还能泛化到训练数据未覆盖的语言。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究提出把现有英语质量分类器改造为多语言版本的方法,用于超过 100 种语言的 LLM 预训练数据筛选。方法是在 Transformer encoder-only 模型嵌入上训练小型 MLP,以机器翻译文本的英语分类器评分作为标签。1B、3B 和 8B 规模实验显示其效果与现有多语言模型过滤基线相当,且不损害区域与文化知识 benchmark,分类器还能泛化到训练数据未覆盖的语言。
研究者提出 MH-INDIC 框架,通过 10 个孕产健康推理维度评测 LLM 在印度北部城市及半城市语境下的文化对齐,并基于对 102 名孕妇及产后女性的 26 项调查评估 10 个 LLM。结果显示多个模型可逼近人群级分布,但在不同人口与家庭画像上的行为差异显著低于真人群体。基于真人画像的条件化提示能提升画像对齐与对话质量评分。
研究团队构建了 ProloNg 合成测试题,用 Prolog 表达的演绎逻辑系统变化推理深度,最难情形达到深度 22、上下文 62k。对 5 个家族共 8 个推理模型的测试显示,随推理深度增加性能大幅下降,多数模型在深度超过 10 后接近随机水平。
一项 arXiv 研究用 4,000 篇 PNAS 前 ChatGPT 摘要及 3 家厂商 23 个 LLM 版本(2023 年 6 月至 2026 年 8 月发布)的重写文本,量化模型版本更迭对 AI 写作筛查的影响。仅用旧版本训练的检测器在模型代际边界处性能崩溃:以误报 1% 人工摘要为基准,边界前可捕获超 99% 的重写,边界后骤降至 3.8%。模拟场景中,覆盖全部 23 个版本的筛查要么误报八分之一的人工摘要,要么漏掉最新版本三分之一的重写,一款商业检测器漏掉了边界后版本的大部分重写。
UXBench Pro 是一个面向多轮对话个性化用户体验评测的基准,包含基于真实用户交互的 1,000 个测试实例,覆盖 12 个任务场景和 82 个领域,每个实例配有刻画七类可解释行为侧面的 FACTORS 用户画像。该基准采用双视角范式:个性化 User Reward Model(URM)提供第三人称评判,Sim4Eval 用户模拟器支持多轮交互并从四个认知状态维度做第一人称评估,并引入 URMBench 和 USimBench 两个元基准检验评估器的可靠性。
该研究在 Omnilingual ASR wav2vec 2.0 骨干上以 CTC 微调,比较多语言字符、BPE 和基于 Pythen 音节划分的音系感知三类分词器,共进行 40 次微调,在三个德语测试集(域内朗读、方言自发、标准德语自发语音)上评估。域内各分词器在 WER 和 CER 上表现相当;小词表下音节感知分词在方言和自发语音上占优。音素混淆分析显示各分词器错误模式相同,表明错误拓扑主要由声学编码器而非分词器决定。
arXiv 论文(arXiv:2610.11655)提出按失败构成诊断 LLM Agent 的改进路径:进程类失败交给 harness 进化,内容类失败交给权重训练。在 DeepPlanning 上,自进化 harness 将 Qwen3.5-4B 的 held-out 分数从 0.16 提到 0.30、Qwen3.5-9B 从 0.32 提到 0.44;在进化 harness 轨迹上训练的 LoRA 适配器在原 harness 下为两种规模各加 +0.13,9B 上适配器单独即可匹敌完整进化线,内容失败从四分之一轨迹降到二十分之一;该方法还迁移到 WebArena-Lite(117 个未见任务上 +0.09)。
推荐理由:论文给出按失败构成在 harness 进化与权重训练之间做选择的诊断规则,并用 Qwen3.5 与 WebArena-Lite 数据支持其可迁移性。
Anhao Zhao 等提出 DIAL-OPD,一种在线策略蒸馏中的 token 选择方法,用教师与学生概率的对数均值加权奖励,保留得分最高的 token。在 4 组师生模型和 7 个数学推理基准上对比 9 个基线,仅保留 40% token 即超过全 token Vanilla OPD,平均准确率提升最高 5.25 个百分点,AIME25 Pass@16 从 13.33% 翻倍到 26.67%,并用 4B 教师超过 8B 教师的全 token 基线。
推荐理由:论文用概率空间加权解决 on-policy 蒸馏中低低 token 的干扰,给出了跨 7 个基准的对比数据,方法有可迁移性。
arXiv 论文提出 TRACE 协议,通过配对运行、行为对比和重打分,把 LLM agent 分数变化区分为能力变化与评测本身的变化。在 25 个合成任务中重命名工具使脚本 agent 分数降 0.250,打分时恢复原名可完全弥合差距;88 个任务的重命名实验中八个 agent-change 对里七个 reward 变化在 ±0.10 内,误导性工具名则使所有 agent reward 下降 0.20-0.44;相同重跑会翻转 15-36% 的任务结果,两个前沿 LLM 评审在 57% 的相同记录上判断不一致。
推荐理由:论文用配对实验把智能体评测分数变化拆解为能力与测量两类原因,对解读 LLM agent 基准分数的读者有直接参考价值。
一项研究将结构化情感分析任务转化为依存图解析,但改用序列标注方式,借助线性化图编码为输入中的每个词分配标签,从而捕捉情感持有者、目标和表达构成的图结构。实验覆盖五种语言(英语、西班牙语、挪威语、巴斯克语和加泰罗尼亚语)的七个数据集,性能与更复杂的领先单模型方法相当。
一项 arXiv 研究提出基于反思进化(ReEvo)的模因算法,用于解决流体天线系统(FAS)的安全端口选择问题,防范窃听。与现有 LLM-GA 仅用 LLM 设计交叉或变异算子不同,该算法让 LLM 离线进化出交叉、变异和局部搜索三类算子,嵌入模因搜索框架后执行时无需在线调用 LLM。相同代数下仿真显示,其安全和速率高于传统 GA 及现有 LLM-GA。
一篇 arXiv 论文提出“稀缺性反转”:当机器系统在文献综合、假设生成、软件开发、仿真与分析等可计算的科学工作中优于人类时,科学将转而受实验、观测、可靠结论与问责性机构权威等稀缺资源约束。论文分析选择、物理接入、验证与组织选择四个方面,并指出国家实验室应通过受控实验、受保护数据和专家判断把充裕的机器推理转化为可信结果。
TestGRAD 是一个用于 SWE-agent 集成的自动测试优化框架,将基于测试的补丁选择建模为测试空间优化,核心包含差分损失、全 CRUD 梯度和失败模式动量三个机制。在 SWE-bench Verified 上,TestGRAD 采用 4-agent 集成达到 84.2% Pass@1,超过最强基线(80.6%)3.6 个百分点,同时将失败历史上下文压缩超过 100 倍。
一篇 arXiv 论文研究由外生有限状态 Markov 链驱动的非线性双时间尺度随机逼近中的平稳偏差,推导出误差界在慢步长远小于快步长时仍一致的一阶偏差展开,揭示 $\varepsilon^2/\eta$ 混合贡献项。研究表明幂律步长路径下偏差指数可为非整数,Richardson–Romberg 外推需匹配路径的权重,并用可解非线性 Markov 例子验证系数、对 temporal-difference learning 验证了局部化。
该 arXiv 论文研究含外生输入、系数在未知时刻变化的未知自回归系统的最小方差控制,提出 PIECE-CD 算法:先探索、报警后重新探索,并用门控递归最小二乘控制,能量测试通过窗口输出功率与噪声底之上的阈值比较来检测变化。在扰动有界、检测间隔固定、稳定性与可行性条件及变化间隔充分长时,证明以至少 1-δ 的概率取得 O((C+1)log((T+1)/δ)) 遗憾界,其中 T 为时域、C 为变化次数,同时控制全程误报并证明对数检测延迟。
arXiv 论文以一个人工主导、智能体工程化的量化交易系统为案例,考察生产 ML 系统中的“结果—诊断鸿沟”:该账户一年内盈利并跑赢大盘指数,但主回溯口径下年度 alpha 与零无统计学差异,且推荐到运行时的完整绑定记录缺失,无法确定唯一原因。论文区分冻结实例、预定义自适应流程与临时开发,提出证据层级和一个前瞻性生产绑定协议,强调外部反馈只能约束结果声明,诊断分辨率取决于溯源信息。
研究者提出自主测试智能体 QuSema,利用量子语义与文档约束作为源码级语义 oracle,在量子库中查找静默 bug。其已适配 Qiskit 和 PennyLane,在 20 个历史静默 bug 基准上平均定位数超过 Claude Code 和 Codex,且 DeepSeek 配置成本低于 Claude Code。QuSema 还发现 40 个经开发者确认的未知 bug,其中 30 个为静默 bug。
一篇 arXiv 论文以 Personal Fact Memory(PFM)为参考层,直接测量语言智能体记忆在生成前的失效:在受控修订基准上,只服务正确键控槽位的活跃值可消除陈旧暴露,而不做更新解析时 70.3% 的提示词暴露被取代值;参与者感知的 BM25 与参考排序器差距在 0.02 边际内等价。研究还发现四个 LLM 键分配器虽召回率高于规则抽取器却产生更低干净检索率,LongMemEval 上开放域合并召回率不超过 0.062,实体后验无法区分 LoCoMo 中同名发言者;作者主张应在生成前评估智能体记忆。
LoomSC 框架通过投影因子分解和精确谱约简解决子空间聚类中稠密自表达矩阵与全亲和度谱聚类的可扩展性问题,整个流程在固定维度和迭代预算下具有关于样本数的线性时间与内存复杂度。在五个图像聚类基准上,LoomSC 在与 9 个最先进基线的全部 15 组数据集-指标对比中均列第一或第二,平均准确率超过最高基线均值 6.66 个百分点,合成实验扩展至 500,000 样本仍保持至少 99.8% 准确率。
一项 arXiv 理论研究指出,现有看似证明对齐的方案大多忽视了智能体所处的环境。作者在部分可观测、需在有限时间内采取行动的环境中分析了 agent-agnostic 安全保证的理论界限,并构造无限状态空间与信号混合两个现实场景,证明即使是完美智能体也无法保证安全行为。结论是任何 AI 安全或对齐证明都必须将环境与相应安全动作同智能体一并具体考虑。
一项 arXiv 研究显示,LLM 可以被训练以容忍硬件不可靠性,且随着模型规模增大,其错误韧性反而提升。基于 40,000 GPU-hours 在模拟故障数字硬件上的训练,研究者推导出修正的神经缩放定律,并猜想经过适当训练的 LLM 可能是形式上容错的,这意味着在低功耗故障硬件上运行 AI 推理有望带来可观的能耗节省。
研究者利用前沿大语言模型智能体,从机器可读的建模规范中自动构建电化学 CO2 还原多物理场模型,全部采用开源 Julia 实现。智能体独立构建的模型与等效 COMSOL 实现的峰值 CO 分电流密度偏差在 0.7% 以内,彼此间偏差在 0.04% 以内。该框架让物理描述和控制方程而非专用代码成为计算建模的主要输入,提供了比商业软件更透明的建模路径。
研究者提出可持续性感知性能指数 SAPI,将分割性能、能耗与模型规模结合以评估细胞与细胞核实例分割模型。他们在六个 CellBinDB 数据集上对 19 个预训练与基础模型进行零样本推理测试,并用少样本适配评估 16 个可微调模型。结果显示更大、算力需求更高的模型并未持续带来成比例的分割质量提升,SAPI 排名与单纯性能排名不同。
研究者提出后微调防御方法 SLDR,基于选择性层恢复与动态路由,仅在敏感度最高和最低的层上训练 LoRA 恢复适配器,并通过基于表示的动态路由只对恶意查询激活适配器。在 4 种模型架构、5 个下游任务和 4 个有害基准上,SLDR 在 Llama3.1/SST2 上将平均有害分数从 11.54 降至 0.08,投毒比例高达 0.9 时有害分数仍接近零,且保持下游准确率。代码已开源。
arXiv 论文将人机协作中的自主权转换形式化为“交接问题”:在每个运行周期决定升级、维持或回退 AI 自主权,并保持过程可逆、可恢复、可审计。作者提出 Handover Readiness Score(HRS),综合操作员准备度、人机信任、学习稳定性与运行表现四个信号维度,并配合基于迟滞的转换策略:升级需持续正面证据,条件恶化时迅速回退。在软件工程与制造领域,HRS 与硬安全护栏互补,共同治理自主权转换。
研究者提出 MIRA(Musical Intent Refinement Agent),将文本到音乐的意图对齐转化为逐项可验证的 rubric,并据此构建 MuRA-Bench 基准。MIRA 作为 test-time 智能体,在有限预算下对黑盒生成器搜索提示词修订,结合 rubric 验证进行轨迹感知的树搜索。实验显示 MIRA 提升意图对齐效果,使开源生成器达到与 Suno、Mureka 等商业系统相当的水平。
研究者推出开源可扩展框架 Open-MMUnlearning,统一 MLLM 遗忘(unlearning)的目标模型准备、多模态数据处理与评测流程。框架支持 5 个涵盖隐私、安全、版权的基准、4 个模型族的 8 个 MLLM 和 12 种遗忘方法;在 10 种代表性方法对比中,GD 与 MIP-Editor 并列最高总分。评测还引入指标元评估协议,13 个指标中 BLEU 综合可靠性最高,KS-Test 忠实度 AUC 最高但鲁棒性较弱。
TaoD2C-Bench 发布,用于评测多模态大语言模型(MLLM)在工业设计转代码(D2C)中满足实现约束的 UI 代码生成能力。基准包含来自 17 个商业平台的 2,861 张生产级设计稿,共 97,652 条专家标注,涵盖 Component、Group、Alignment、Position 四类,并定义端到端代码生成、需求推断与需求实现三项任务。对八个 MLLM 的评测显示模型在满足实现需求上存在明显差距,且视觉还原能力并不等于能生成符合需求的代码;数据集已开源。
RoboQuest 是一个目标导向具身探索基准,包含十项移动操作任务,覆盖搜索、基于操作的检查和交互测试三类不确定性。研究通过统一视觉运动接口评估五个前沿多模态智能体,以及在发布的全片段演示上微调的 π₀.₅ 策略,最佳智能体成功率仅 23%,微调策略几乎从不成功。失败分析显示智能体多在未观察到足够证据时过早停止探索,试错学习对多数模型仍然困难。
研究者推出 SOTA,一个结构化期权策略选择的智能体交易框架,通过后训练 Qwen3.8-27B(先监督微调再强化学习)构建。在 9 只美股大盘股和 SPY 的期权上评测,6 个月样本外实现 18.3% 总回报,Sharpe 比率 1.60,最大回撤 8.96%。研究还发现强化学习阶段保留新闻会使样本外回报从 18.3% 降至 -2.7%。
研究者提出 Q-learning with Scalar Adjoint Matching(SQAM),利用预训练流策略速度 Jacobian 对角集中的特性,推导出闭式标量伴随,省去逐步向量-Jacobian 乘积。在 OGBench 四个最难领域上,SQAM 成功率比各域最强基线高 18 到 35 个百分点;在真实双臂机器人上微调视觉-语言-动作策略,三个任务均优于监督微调。
论文提出 Joint On-Policy Learning and Teaching(JOLT),让同一策略同时充当特权教师和学生,教师用结果奖励加 token 级 KL 正则化目标训练,学生通过在线策略蒸馏获得密集监督。分析给出了教师蒸馏更新为学生奖励梯度正倍数的充要条件,指出教师还需匹配学生当前能力。在数学推理、代码、工具使用和终端使用任务上,JOLT 提升了训练效率与性能,学生奖励带来进一步增益。
一项 arXiv 研究提出 Δ-MOPD,在多教师 on-policy 蒸馏中不再迁移教师的端点策略,而是迁移教师相对其基座模型的 logit 偏移,并将其重新锚定在学生的冻结初始状态上。三个教师组合时,Δ-MOPD 比 endpoint 组合高出 4.11 Math 和 1.95 五基准分数;phased 路由下将顺序差距从 10.50 降至 6.42 点。结果表明目标构建是 MOPD 中独立于教师选择的设计维度。
FoldBack 是一种用于长程衣物折叠任务的自校正掩码生成策略,围绕“何时细化验证、如何回滚、何处重试”三个推理时决策构建恢复机制,可检测、撤销并修复失败的抓取交互,无需恢复演示或重训基础策略。在六类共 33 件真实衣物上,FoldBack 最终折叠成功率达 75.2%,final-mask IoU 为 0.837,而最强基线分别为 45.7% 和 0.689。
一项预注册田野实验让 759 名 MBA 学生在 10 节课中随机分配 2 节使用语音 AI 讨论伙伴做课前准备。使用两次后,学生在后续课堂上的自愿发言增加约 31%。更多使用该 AI 伙伴的学生还报告了更高的发言舒适度和感知学习效果,但专注度和积极性未提升。
一篇 arXiv 论文提出“研究者社会”框架:在显式制度下组织由数千个持久自主研究智能体组成的种群,由首席研究员通过提案申请、独立评审和资助竞争算力,人类“市长”只分配资源、不指派任务。在一个运行中的一万名研究者的社会里,智能体被要求改进语言模型预训练,其中一个实验室报告可用约 30% 更少的算力达到同等质量,但测试该结果的实验室尚未达成一致。作者还提出六个开放问题。
研究者推出自进化智能体框架 EmbodiedRSI,让机器人自主决定探索方向,并将物理交互转化为代码与技能改进。其采用 Fast-Slow 双系统架构,用 Hypothesis Graph 维护竞争性代码与技能假设。在 RoboCasa365 上总体成功率达 77.0%(最佳基线为 40.1%),LIBERO-Pro 上达 86.8%,并可零样本迁移到真实机器人,多任务成功率为 71.3%。
RECAST(Routing Evidence through Computation, Access, and Synthesized Tools)提出一个学习式框架,把证据构建建模为对异构检索与计算操作的序列决策,让证据被主动推导而非仅仅检索。其 RouterLM 经 SFT 与 GRPO 训练,在 6 个基准家族上平均成功率 75.6%,超最强基线 15.9%;在 3 个 held-out 基准上平均领先 15.0%,Qwen3.5-9B RouterLM 超 Gemini 3.5 Flash 5.0%。
arXiv 论文提出 SciExam for ENSO 基准,让语言模型智能体在六小时内从真实观测出发构建低阶 ENSO 随机模型,过程诊断先冻结,再由隐藏评分器检验模型能否复现 ENSO 统计特性、恢复未观测变量并预测保留年份。十二个智能体系统中有六个的模型得分超过已发表模型,主要靠更好的重构与预测,且更强模型的结构各自与 ENSO 暖冷不对称性两种竞争解释之一相容。
研究者推出基于 JEPA 架构的机器人世界模型 RoboJEPA,在覆盖 12 种机器人本体的大规模数据集上训练,参数量 8B,是迄今最大的 JEPA 预测模型。其想象误差随计算量呈二阶幂律,可预测下游机器人规划性能,是真实机器人评估的可靠代理指标。该模型可零样本部署为机器人智能体,朝单一目标图像规划完成长时程任务,模型 checkpoint、训练与部署代码均已开源。