谁获得尊重?孟加拉语敬语分配偏见的反事实基准
该基准利用孟加拉语第三人称必须选择普通或敬语语体的特点,通过英译孟翻译测试 LLM 如何分配尊敬。评测集含 2,016 个句子、覆盖 72 种职业,给出 0–100 的 Honorific Bias Score(HBS),九个模型 HBS 在 19.9 到 70.1 之间。职业解释了 3.2%–51.5% 的语体选择方差,而性别最多仅 1.2%。
新闻、仓库与研究,按时间排列。
该基准利用孟加拉语第三人称必须选择普通或敬语语体的特点,通过英译孟翻译测试 LLM 如何分配尊敬。评测集含 2,016 个句子、覆盖 72 种职业,给出 0–100 的 Honorific Bias Score(HBS),九个模型 HBS 在 19.9 到 70.1 之间。职业解释了 3.2%–51.5% 的语体选择方差,而性别最多仅 1.2%。
CUSE 是一种面向多模态大语言模型的反事实引导在线自蒸馏遗忘框架,通过移除目标相关证据构造反事实输入,利用 token 概率变化定位需更强遗忘的 token,并以冻结的原始模型副本作为教师进行 token 级蒸馏,同时确定遗忘与保留目标。在 MLLMU-Bench 上,CUSE 将遗忘集 ROUGE-L 降低 33.6%,保留集 ROUGE-L 比最强基线高 1.2%。
研究者构建了迄今最大的葡萄牙语—Nheengatu 平行语料库(14.5k 句对),以 2023 年巴西联邦宪法官方翻译为核心,并发布首个开源权重双向 MT 模型。最终系统在文章不相交的宪法文本上达 31.7–32.8 chrF++,近域集 64.1–64.5,语音 45.2–47.5;加入转写口语语料使语音 chrF++ 提升 24–27 分。更大的 NLLB 模型仅改善译入葡语、不改善译入 Nheengatu 的效果。
一篇 arXiv 论文提出双向阿姆哈拉语-英语跨语言问答(CLQA)系统,整合统计机器翻译、最大熵命名实体识别与语义索引。阿姆哈拉语到英语检索达到 72% 精确率、79% 召回率,英语到阿姆哈拉语达到 65% 精确率、70% 召回率,表明模块化翻译-检索架构在低资源条件下也能提供有效的跨语言访问。
Vela 框架将 100,000 名用户的匿名真实行为数据转化为 91 类真实任务模板、共 100,000 个任务,经难度过滤后保留约 75,000 个任务及其训练轨迹。基于这些轨迹微调 Qwen3.6-35B-A3B,用户相关任务较基础模型最高提升 11.5 分,通用基准平均提升 4 分;微调后再做强化学习比直接从基础模型强化学习最高多 7.7 分。
arXiv 论文提出 TasteBench,一个跨视觉、品牌、书籍和科技类别的成对 good-vs-bad 基准,采用冻结评分标准和仅专家金标(panel n>=3,一致率 >=0.60)。在 n=250 对的 Round-1 试点中量化出三类效度威胁:位置偏置(always_item_a 得分 0.956)、文件名词汇泄漏(0.912)以及难度天花板(五个 VLM 在 craft 类别均达 1.0)。团队发布参考 eval harness 和 side-randomization 工具,可将位置偏置从 0.916 降至 0.495/0.505。
Lingdan-V2 是 4B、8B、14B 参数的中医大语言模型家族,采用持续预训练、推理监督与以方剂为核心的强化学习对齐框架,用于中医临床决策支持和方剂推荐。在含 25,620 条专家核验条目的公开基准上,14B 强化对齐模型方剂生成 F1 达 37.0,超过总参数 671B 的 DeepSeek-R1 的 32.3;在 4,348 例脾胃病回顾性临床数据集上 F1 为 52.8,剂量一致性提升。
研究揭示大语言模型合并中的单侧合并条件后门(OMCB)威胁:该后门在单一模型中潜伏且难以被后门检测发现,模型合并后激活并触发安全去对齐。作者提出基于元学习的 SMOKE 攻击框架,通过双层优化植入 OMCB,实验证明其在多种模型架构与合并技术下有效且能抵抗现有后门检测。
VoTSpeech 通过显式中间语音潜变量,将音色设计与语音生成解耦。该系统基于共享语言模型骨干,先用 flow 模块从文本指令预测连续语音潜变量,再同时作为语言模型与 Acoustic DiT 的共享条件,最后由 audio VAE 解码器生成波形;语音潜变量由 speaker embeddings 与时间池化的 audio VAE 特征联合监督。VoTSpeech 在 InstructTTSEval-ZH 上表现强劲,与强开源模型相比具备竞争力且保持高自然度,代码、模型与音频样本已开源。
PVFH-Bench 基准用于系统评测视觉语言模型(LVLM)的"前提诱导视觉固着幻觉"(PVFH),即模型接受错误文本前提后,对并不存在但视觉上合理的对象生成回答。该基准自动构造视觉易混淆的缺失目标并配诊断子集,对 10 个 SOTA LVLM 的实验显示所有模型均高度易感,且显式链式推理(CoT)会进一步加剧该失败模式。
一项研究在 92 条 TREC 检索查询构造的 276 个三段落状态上,审计了七个开源 Jev 风格检查点的请求独立性。请求扩展使 Nimble 的判断出现 9.1%/8.0% 的严格二元翻转,并在阈值 0.5 下改变 TREC DL2019/2020 中 21.4%/18.9% 的选择或弃权动作。字段掩码将全部 70 次请求集翻转追溯到提示词中序列化的 schema 字段,Von 修复共享分隔符位置可消除两处资格性偏好翻转。
arXiv 论文提出 Forget-Aware Self-Distillation(FASD),针对多模态大模型遗忘评估只看停止输出导致的两类问题:抑制目标知识引发幻觉、拒答训练只是改变表面行为。FASD 分为行为与知识两条通道,前者从忽略提示的模型副本蒸馏拒答行为并掩蔽 target tokens,后者直接抑制 ground-truth 答案片段,实现"诚实无知":模型真正遗忘目标知识且能识别自身知识边界,同时保留数据性能。代码和数据将在论文发表后发布。
一项审计用 Bias-in-Bios 和 StereoSet 基准评估了六个多语言句子嵌入模型(LaBSE 与 E5 家族),并修正了 naive 显著性检验中的非独立性问题。结果显示 E5-Base 的知识蒸馏微调显著加大 Bias-in-Bios 偏差(Δ=-0.177,p<10⁻⁸),而二分类微调无统计学差异(p=0.218)。微调策略因此成为 HR 推荐系统设计的可操作杠杆。
研究者将心理语言学理论 Uniform Information Density 引入大语言模型偏好优化,提出 UIDPO 算法,通过全局标准差与局部二阶差分组合度量信息均匀度并纳入优化目标。与此前 SOTA 方法 SimPO 相比,UIDPO 在 AlpacaEval2、ArenaHard 和 MT-Bench 上取得相当或更优的表现,代码仓库已开源。
论文提出 Reward-Aligned Distillation(RAD),一种双层框架,通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下,RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B(non-thinking)6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点;在 LiveCodeBench-v6 上,Qwen3-1.7B(non-thinking)与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1,超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
LongHisDoc 是首个面向长篇(整本)中文历史文档理解的基准,包含来自 101 份 PDF 的 1,012 条专家标注 QA 对,平均每份 85.1 页、42,776.4 tokens,覆盖 10 个类别和单页、跨页、多跳、不可回答四类问题。评测显示最强 LVLM 和 LLM 准确率仅 62.9% 和 69.9%,同时基准还评测了多模态检索器与端到端 RAG 性能,基准和评测代码已开源。
arXiv 论文提出 Q-NeuS,一种查询自适应的 LLM 神经元调控框架,根据每个输入动态决定调控哪些神经元及调控幅度。该框架构建主题引导的候选神经元空间,用 Query-Adaptive Gate 生成逐神经元调制系数,并通过 Neu-GRPO 基于多种干预配置的相对表现训练。基座 LLM 全程冻结,推理时无需任务或主题标签,实验显示其在多模型与 benchmark 上均有一致提升并具跨 benchmark 迁移性。
研究者推出 AphaVoice,一种专为合成高度逼真失语语音设计的 TTS 框架,用于医疗人员训练模拟。对比 SOTA TTS 系统的评测显示,其能更好地捕捉构音障碍这一临床特征,在时间指标上超越现有模型并保持说话人身份一致。借助 latent space shifting,模型还支持多说话人生成,为失语症医疗训练与临床模拟提供可扩展的高保真工具。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力,要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱,对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现,并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类,但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平,且性能排名随语言和主题变化。
研究者提出 Hide and Seek(HnS),一种概念级归因方法,无需访问模型权重或概念标注数据集即可解释黑盒视觉模型。HnS 借助视觉-语言模型检索概念对齐图像、定位并遮蔽概念区域,通过对比遮蔽前后模型输出的变化来度量归因。该方法在 CelebA 和 COCO-Stuff 上验证,与真值归因的一致性优于现有方法,并可用于图像描述生成和卫星图像分割等现有方法无法处理的任务。
Taoyong Cui 等人在 arXiv 发布 RSI-Anything(arXiv:2610.13912),一个基于 JEPA-Anything 的领域通用递归自我改进(RSI)框架,用预测式世界模型指导动作与学习数据选择,并通过组件与兼容性检查决定更新后策略-模型对的保留。代码修复中成功率先从静态验证器的 26.3% 提到预测选择的 29.2%,经世界模型适配后达 31.2%;GUI 任务完成率提高且平均动作减少 39.4%;五个连续策略版本使实验室规划得分从 21.80% 升至 46.01%;40 次实验预算下反应优化平均最优产率 96.15%,优于贝叶斯优化的 82.16%。
推荐理由:论文用预测式世界模型替代昂贵外部反馈来驱动递归自我改进,并给出代码修复、GUI、实验规划等多域的可复核数字。
arXiv 论文提出 EICS 指标与 CASP-VL 基准(基于 Visual Genome 场景图的空间扰动),检验 VLM 内部表示对概念与空间关系的编码。结果显示多种 VLM 架构对空间关系的表示明显不如词汇信息保真,即使这些模型在组合性 benchmark 上远高于随机水平。关系信息在谓词自身 token 处可识别,但经 (EOS) 聚合或 mean pooling 形成全局表示后丢失。
该 arXiv 论文系统重评了表格数据深度回归的多种目标函数,发现多数相比调优后的 MSE 基线收益有限或不稳定,而 quantile loss 在多个神经骨干上带来一致改进。研究进一步指出不同噪声水平的区域最优训练轮数不同,单一全局早停点会迫使不确定性区域之间妥协;作者提出结合输入相关标签平滑的异方差感知 quantile loss 扩展,在部分骨干上有所提升。
arXiv 论文提出接受路径解码(APD),在长度受限下保证语义解析输出可被自动机接受,DRS 上 Smatch++ 较局部掩码提升 5.1 和 2.4 点,AMR 上提升 6.4 和 3.2 点。事后处理方面,训练数据受限时 10.2% 的输入在 8 个无约束采样下仍无有效输出,全量数据时降至 0.4%。训练中惩罚被自动机拒绝的 token 在 10% 训练进度后可将开发集 Smatch++ 提升 3.6-11.0 点,但该优势随训练推进逐渐消失。
一项针对五个开源权重模型(跨四个模型族、1.5B-14B 参数)的研究发现,任务变化会重新分配注意力头的 influence。在 Gemma-2-9B 和 Qwen3-14B 中,激活编辑可在保持指令不变的情况下切换模型读取的事实,同一批 head 会响应不同的图事实并以不同方式影响后续组件;对应的线性响应映射将预测均方误差在 Gemma 中降低 53.6%、Qwen 中降低 5.0%。这表明任务上下文同时改变共享组件响应的内容及其对后续计算的作用方式。
arXiv 论文提出 RATED,一个结合冻结双编码器对比微调与 contextual bandit 动态重排的 AI Agent 工具检索框架,可快速适应运行时工具故障而无需重训练。配套发布 EcoAgent 基准,含 5,172 个真实工具和超 21 万 query-tool 对。RATED 相对 ToolLLM API retriever 的 MRR 提升 52.2%,在 30% 故障率的严重 API 中断下将故障选择率从 86.2% 降至 2.9%,额外延迟开销不足 1 ms,代码与数据集已开源。
研究者提出 X-AgentRed,一个自演化红队测试框架,通过构建工具依赖有向图并利用执行反馈,发现个人智能体在多服务生态中完成良性请求时可能产生的有害工具调用路径。该框架通过工具替换多样化路径并修正被阻塞步骤的前置条件实现自我改进。在四个前沿 agentic 模型上,X-AgentRed 的有害路径率达到 STAC 的 1.77 倍,工具覆盖率平均达 2.99 倍。
研究者提出 PAGE 框架,将 AI 变为漫画研究工具:把扫描件解析为画格、文本与书目记录,用视觉语言模型按编码手册标注页面,并以人工标注校验。该框架在 3,929 本美国漫画(1938–1956)和 87 卷日本漫画上完成三项研究,分别考察政治权力描绘、视觉形式与个人画家风格、两个漫画传统中的说话者分析。
研究者提出 SpatialASM 框架,通过训练时空间模拟将主动空间心理模拟(ASM)能力内化到大型视觉语言模型(LVLM)中。该框架用 allocentric novel-view 生成器提供显式 ASM 轨迹和自动构建的视角转换任务两类监督,在七个空间理解基准上提升了四种 LVLM 骨干模型的推理准确率,同时保持原有通用视觉能力。
研究者提出 MC-EvoBench,一个用于审计 Minecraft 智能体经验驱动自我改进的受控基准,含 19 条注册进化链(12 条主评测链、7 条校准/探针链)及三个图对齐配对探针族。基准将任务表示为任务状态图,设置阶段级环境验证器,仅允许声明的 agent 工件跨越源-目标边界。结果显示 planner 支持变体与 controller 变体间存在持续的直接能力差距,而相关经验未带来稳定迁移,各置信区间均含零。
研究者提出发音评估框架 OpenPA,利用 Whisper 的 cross-attention 机制联合预测词级和语句级发音分数,无需强制对齐。通过混合转写适配和自适应替换加权,单一模型可同时覆盖封闭与开放作答场景。仅在 speechocean762 上训练的 OpenPA 在域内封闭和模拟开放作答条件下取得评估系统中最强的整体表现,并在 MultiPA 上保持零样本性能,口腔癌语音的跨任务评测显示其潜在应用前景。
该研究测量语义查询引擎中 LLM 判断的运行间方差,通过 SemBench、LRO-Bench、UDA-Bench 自带测试框架重新执行 1.2 百万次模型调用。结果显示 temperature 0 下 0.07%–10.2% 的行输出会变化,UDA-Bench 上约三分之二答案不同,SemBench 公布结果中 21% 的 text 结果质量随执行改变。Voting 可降低但不能消除方差,作者据此提出 benchmark 报告规则与引擎设计规则。
一项 arXiv 研究在 Qwen3-14B 上探索让模型学会何时拒答,比较训练模型本身与训练独立答案选择器两种方法。在 TriviaQA 上,学习型选择器将平均覆盖率从 20.2% 提升到 30.9%,已评分答案的错误率从 23.0% 降至 14.5%;但测试的强化学习方法未带来一致增益,NQ-Open 上选择器仍不如始终拒答,跨数据集的可靠拒答仍未解决。
QTestBench 是一个用独立 benchmark checker 评测 LLM 生成量子代码测试套件的框架,不把测试本身当真值。它在 8 个 PennyLane QHack 挑战和 10 个 Qiskit HumanEval 任务上评测了 5 个 LLM,最佳生成器测试质量仅达 QHack 0.71、Qiskit HumanEval 0.34,说明可执行性高不代表判别力强。对于缺乏自然错误解的任务(10 个 Qiskit 任务中有 3 个),oracle 验证的合成 mutants 可稳定 bug 检测估计。
论文提出 SAFE-QE,一种免训练、与检索器无关的查询扩展方法,基于子序列关联假说识别并降权幻觉扩展词。在 TREC 和 BEIR 基准上,其 nDCG@10 与生成式及语料引导扩展统计上无差异,但每查询不获支持的词仅 4.3 个,低于 Query2doc 的 27.8 和 HyDE 的 57.5;同时提出查询侧忠实度指标 HETR。
一项低资源语音识别(ASR)研究在四种低资源语言和英语的五种数据规模上,比较了 SpecAugment 等音频增强与基于文本合成音频的增强方法。音素级分析显示两者错误类型互补:SpecAugment 增加声调和腭化错误,文本方法引入辅音插入,组合后各自抵消对方的错误,且组合提升超过各自提升之和;但超加性在 100 小时数据量时消失。研究建议按训练暴露度和声学属性选择增强方法。
论文提出 FORTE,一个面向生产推荐系统的模型无关特征评估与下线框架,支持每日特征评估、分组消融验证和下游消费模型追踪。在两个大规模推荐系统上验证:搜索相关性模型下线 48 个特征(占 43.3%),无线上回归;大型排序模型移除 8 个特征后,可训练参数减少 29.9%,服务吞吐提升 19.8-25.5%,年训练成本节省数十万美元。
arXiv 论文提出角色感知 Transformer 架构 REFLECT,将情感、情绪、礼貌度和正式度(SEPF)四个维度映射到基于语义角色标注(SRL)的配置,并融入自注意力机制。在四个 benchmark 数据集上,该框架较 BERT 基线在情绪、礼貌度和正式度上取得统计显著的提升,情感维度提升不显著。在真实心理健康数据上,该框架同时提升了预测性能和模型可追溯性。
该研究用行为与机制分析方法考察 LLM 对英语话语粒子 "just" 和 "only" 的敏感性。结果显示 LLM 与人类同样偏好语境中出现这些粒子,且对 "just" 更敏感;指令微调会提高敏感性。机制分析还发现 "only" 单元选择性地迁移到排他义 "just",而 "just" 单元可无条件迁移到 "only",表明词汇级粒子表征部分按词义组织,相关代码与数据已开源。
研究者推出 OccludeBench,一个用于从视觉线索中恢复完全遮挡物体的手动标注 benchmark,区分直接线索与场景推断两类。五个 VLM 在直接案例上平均准确率 42.7%,低于推断案例的 62.7%,存在 20.0 个百分点差距;人类则达 63.4% 与 68.5%,无显著差距。诊断显示模型从全图投影中恢复物体是瓶颈,而“先补全再验证”的干预可将差距降至统计上不显著。