跳到正文
10月21日周三
  1. arXiv · cs.AI41

    DecisionPivot:面向 LLM 系统决策模型的诊断性 Benchmark

    DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark,包含 48 个任务、40,033 个条目和七种决策角色,核心 track 有 7,800 个条目组成的对照组。评测显示,两个在 reference track 上仅差 2.6 分的 27B 模型,对照组准确率分别为 70.1% 和 44.2%;Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%,但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率,最低设置下为 81.5%。

  2. arXiv · cs.AI45

    MindView:生成式多视角空间智能基准发布

    研究者推出 MindView 基准,包含来自 513 个场景的 1,500 个样本,涵盖几何主导与语义主导两大类共七项任务。对 11 个生成模型的评测显示仍有较大提升空间,微调 BAGEL 后整体分数提高 24.3 分,且在三个空间理解基准上也获得提升。提出无需训练的证据选择器 MindCue,可逆转扩展上下文下的分数下降并超过标准上下文基线。

  3. arXiv · cs.CL25

    Africa-Papers:面向非洲基础语言模型的 100 亿 token 多领域学术语料库

    研究者发布 Africa-Papers,这是迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、共 10.15 billion tokens,分 879 个 Parquet 分片,涵盖 DOAJ 非洲期刊、CGIAR CGSpace 农业库、arXiv 非洲作者预印本及 OpenAlex 开放获取论文四大学科来源。语料以保留章节结构、公式和表格的干净 Markdown 格式发布,配有精确 BPE token 计数和 8 域分类体系,已在 Hugging Face Hub 的 AfriSpeech 组织下开源,用于支持非洲基础模型的持续预训练与领域评测。

  4. arXiv · cs.CL8

    超越单一情感分数:Twitter 表情符号意义的主题与情感维度

    一项基于 16,575 条英文推文的研究提出"stability delta"指标,发现表情符号在主题上下文越聚类的场景中,众包情感反而越两极分化:与 Kralj Novak 等人情感词典的 Spearman ρ=+0.361(Holm p=0.015),与 Ferré 等人西班牙语 13 情绪评分的 ρ=+0.509(p=0.0003)。结果表明主题一致性与情感离散度是表情符号意义的两个独立维度。下游讽刺分类任务中三个基线 macro F1 均超过 0.97,显示该数据集存在饱和的表情符号标签线索。

  5. arXiv · cs.CL26

    DAR-MGSM:首个方言阿拉伯语数学推理基准发布

    研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。

  6. arXiv · cs.CL45

    重复数据下随机 token 替换的收益与代价:基于已知熵的分解及十个真实语料证据

    一项 arXiv 研究提出将验证损失分解为近似、估计与记忆三项的方法,分析随机 token 替换这一输入破坏式增强的收益与代价。在熵率已知的受控数据源上,替换将预测向语料均值收缩;在其有效的场景中可减少最小验证损失后损失上升约 60%。在十个真实语料实验中,替换降低了九个语料的最终损失,仅对最冗余的普查类程序生成 JSON 语料有害。

  7. arXiv · cs.CL23

    码混合与母语双向迁移:文本与语音领域系统综述

    arXiv 论文首次系统综述码混合(CM)文本与语音和母语之间的双向迁移研究,按迁移方向、路径和模态建立分类体系。综述发现迁移大多是母语流向 CM 设定,反向迁移较新且主要通过对齐助力;文本与语音研究方法相通但很少互相引用。在共享语音基准上,母语数据的帮助大于新架构。

  8. arXiv · cs.CL39

    语料质量提升,检索效用却不升:语音转问答流水线中预处理与精炼的消融研究

    一项消融研究将会议语音转为问答对的流水线中预处理(转写改写)与精炼(过滤)阶段分别开关,得到四个来自 40 场韩语医疗与金融 session 的语料。4 个 LLM 评审与 6 位人类专家一致认为完全精炼语料质量最高(1-5 分制领先 +0.18/+0.22),但下游检索准确率排序不成立:开启转写改写使检索准确率下降 0.061,且几乎使单 session 成本翻倍。该语料本身仍很有价值,将各模型检索准确率从 0.231 提升至 0.748,超过三分之一的问答对包含两个前沿模型各自无法独立生成的知识。

  9. arXiv · cs.CL21

    PhonoBridge:错误感知的音素介导 EMG 语音转文本重建框架

    PhonoBridge 提出两阶段框架,将 EMG 信号经通道感知前端转为音素,再用 LLM 重建文本,并通过 EPGA 数据增强适配前端噪声。利用 LibriSpeech 转录生成音素-文本对扩充训练数据,无需额外 EMG 录制。在 Open Vocabulary 无声语音数据集上,PhonoBridge 达到 24.77% WER,优于此前同测试集最佳的 28.27%。

  10. arXiv · cs.CL25

    从 DQI 到 C-DQI:面向计算化话语质量指数的自动编码本生成与评估

    研究者提出一套基于 LLM 的编码本自动生成与评估协议 C-DQI,从话语质量指数(DQI)出发,比较自上而下(理论驱动)、自下而上(数据驱动)和混合三种生成方式。他们设计了经人工标注验证的外部代理指标和利用模型间偏差的模型间一致性(IMA)指标。在 100 份以色列议会 transcripts 上的实验显示,数据驱动的归纳式编码本 IMA 更高且保持有效性,可用于大规模政治话语分析。

  11. arXiv · cs.AI13

    I2R-Pose:基于毫米波雷达的 3D 人体姿态估计框架

    研究者提出毫米波雷达 3D 人体姿态估计框架 I2R-Pose,包含运动感知姿态初始化和观测引导精修两阶段,支持 TD/TR 图与雷达点云的单独或融合输入。作者还构建了含同步 TD/TR 图、点云与 3D 关节真值的 RaMoS-Pose 数据集。在 MVDoppler-Pose 和 RaMoS-Pose 上,融合输入使 MPJPE 分别较现有最优方法降低 39.50% 和 15.13%。

  12. arXiv · cs.AI49

    SAPD:无需环境交互即可从 Agent 经验中学习

    SAPD(Step-Advantage Policy Distillation)是一种从离线轨迹学习训练 LLM 智能体的方法,它将多轮轨迹拆解为单个决策上下文做 on-policy 蒸馏,并引入相对步骤优势信号稳定训练,全程无需新的环境观测或多轮交互。在 ALFWorld、WebShop 和 Search-based QA 上的实验显示,SAPD 在不同教师配置下均提升性能,比 SFT 缓解灾难性遗忘,每个训练步速度比在线 OPD 快至少 4.7×。代码即将开源。

  13. arXiv · cs.AI34

    多模态基础模型在日文金融文档上的分阶段持续适配研究

    一项 arXiv 研究跟踪一个 8.4B 参数模型在日文金融文档上历经三个训练阶段的表现,在五个文本输入基准上评估后发现各阶段相互影响呈非加性:纯数学蒸馏会覆盖先前获得的金融知识,领域阶段修复多于新增内容。跳过阶段的消融虽最利于领域知识,却损失数值推理增益,因此最佳 checkpoint 取决于任务本身。

  14. arXiv · cs.AI31

    MMEnterprise-Bench:面向演化多模态记录的企业智能体评测基准

    研究者推出 MMEnterprise-Bench,包含 1,613 道基于模拟协作项目中演化多模态记录的问题,覆盖证据推理、冲突消解和不可回答三类任务。对 10 个闭源与开源多模态 LLM 的评测显示,最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现吃力。增大检索预算或换用更大检索器能提升证据召回,但不一定转化为更高的回答准确率。

  15. Hugging Face Blog66

    Ai2 发布 FairStress 基准,测出 LLM 决策公平性中的隐性不对称

    Ai2 发布 FairStress 基准,用 300 个真实两难决策场景、扩展后超 1300 万测试用例,测量大语言模型在不同人口身份下的决策稳定性和解释差异。实验发现存在反刻板印象的过纠,模型在对抗性前缀下更容易放弃有利于多数群体的正确决策,匹配前缀下向少数群体切换的概率高出 8.8 到 42.4 个百分点;对 BBQ 的对比显示评测提问和打分方式会改变测得的偏见方向。

    推荐理由:不止测最终选择,还用对抗性前缀测决策稳定性,揭示了用固定选项打分的旧基准可能漏掉的反向过纠现象。

10月20日周二
  1. arXiv · cs.CL21

    在警方音频数据中利用不可靠 ASR 进行可靠关键词估计的新方法

    一项 arXiv 研究提出结合现成 ASR 输出与少量人工标注样本,依据 Prediction Powered Inference 和 Design-based Supervised Learning 框架对 ASR 系统性错误做事后校正。在巴尔的摩和芝加哥警方无线电通讯数据上,可获统计有效置信区间的领域关键词比例从仅用 ASR 的 43.0%、仅用人工标注的 27.2% 提升至 56.2%。

  2. arXiv · cs.CL35

    HoloCosm:跨多指标超越单一指标的基准压缩方法

    HoloCosm 是一种多指标基准压缩方法,通过联合最小化归一化分数重建误差并约束排序失真,解决单指标方法跨指标失效的问题。在 15 个语言、多模态、VLA 和智能体基准配置、85 个组件指标上,80% 压缩率下其平均 NMAE 较最强基线 Random 降低 35.3% 至 0.236,平均 Spearman 相关性升至 0.915。代码与实验结果即将开源。

  3. arXiv · cs.CL32

    Monsoon:面向 50 种低资源语言 ASR 的可扩展自发语音数据收集框架

    Monsoon 是一个大规模收集自发语音数据的框架,用于解决低资源语言 ASR 缺少准确转写数据的问题,已收集 50 种语言的语音,并分析了七个共 3,500 小时的语料库。同等数据量下,其质量流程使语义 WER 相对降低 10-39%;Whisper 在 Monsoon 数据上微调后,在对话基准上语义 WER 降低 20-44 点。框架、质控模型和微调模型均已开源。

  4. arXiv · cs.CL35

    教师监督、固定表示与校准:候选评分决策模型的精确风险计算

    论文在 Gaussian 替代模型下精确计算候选评分决策模型(如 Jev 与开源的 JevAny)的有限样本风险,分析教师软目标、冻结预训练骨干和温度校准三种训练要素。学生模型会继承教师偏差,更多数据无法消除;固定表示只在明确样本量阈值以下降低风险;温度校准仅在教师系数方向正确时消除全部超额风险。在 CFPB 的 231,521 条信用卡投诉数据上,用结果训练的学生比教师决策成本低 8%,30B 模型 zero-shot 经重校准后仍逊于教师,且偏离 Luce 公理性条件 17.5 decibans。

  5. arXiv · cs.CL29

    ASTOR:用形式化文法评测与改进软约束优化的自动形式化

    研究者提出 ASTOR,一种推理时框架,先将自然语言决策问题映射为文法引导的抽象语法树(AST),再确定性地编译为可执行的优化代码,用于处理含硬约束与软约束的优化建模。同时发布聚焦软约束的自然语言基准 SoftOR,ASTOR 在该基准上取得同类单请求与多智能体 LLM 方法中最优的综合准确率,且在仅含硬约束的标准自动形式化基准上保持竞争力。代码与数据已开源。

  6. arXiv · cs.CL22

    AfriBED:面向低资源非洲语言的语音识别偏见评测数据集

    研究者推出 AfriBED,一个用于检测 ASR 系统性别与说话人类型偏见的评测数据集,覆盖 Bemba 和 Nyanja 两种低资源非洲语言。其中 Bemba 部分含 3928 条语音、约 9 小时、80 名说话人;Nyanja 部分含 6260 条语音、约 18 小时、127 名说话人。基线实验表明该数据集可有效检验目标语言中的属性偏见。

  7. arXiv · cs.CL36

    KEEP-Bench:评估上下文压缩中的证据保留能力

    KEEP-Bench 是一个诊断性基准,通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示,即使输入平均仅 3.1K token,最强开源模型(31B)保留全部所需证据的比例也只有 66.8%,最强闭源模型为 61.6%。论文还提出 EPR 指标,发现证据召回在 4B-8B 中等规模达到峰值,主张未来研究应在小计算预算下提升信息保留能力。

  8. arXiv · cs.CL63

    WildAWM 论文提出计算机使用智能体环境合成流水线

    论文提出 WildAWM,一条用开源模型合成计算机使用智能体(CUA)可执行环境与任务的流水线,环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对,部分需超过 100 步求解,GPT-6-Astra 仅解出 60%;仅在这些合成环境中训练的两个不同规模 Qwen 模型,在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升,代码已公开。

    推荐理由:论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法,训练效果覆盖 8 个域外基准,方法可迁移到环境合成类工作。

10月18日周日
  1. arXiv · cs.CL23

    用嵌入向量度量数据多样性:多样性度量方法分类与 EmbDivBench 基准

    一项已被 EMNLP 2026 主会接收的研究提出 21 种基于嵌入向量的文本多样性度量方法的分类体系,按计算方式划分为四个家族,并发布 EmbDivBench 基准,从 variety、balance、disparity 三个维度在模拟与自然文本上评测。实验显示,最常用的 Mean Pairwise Distance 在三个维度上均被多种替代方法超越,Graph Entropy 综合表现最佳,研究还给出了度量选择的实用建议。

  2. arXiv · cs.CL19

    双任务向量合并:利用情感与 ASR 知识实现低资源阿尔茨海默病语音检测

    研究者提出 Dual Task Vector Merging 方法,向冻结的 wav2vec 2.0 各 Transformer 层注入由情感和 ASR 微调模型导出的任务向量,用于阿尔茨海默病语音检测,仅需训练逐层合并系数与线性分类头,更新参数不到全量微调的 0.1%。在 ADReSS 和 ADReSSo 的说话人独立实验中优于 frozen probe、LoRA 和全量微调,与 LoRA 结合效果最佳;PROCESS 三分类任务及 20%、40%、80% 低资源设置下也验证了增益。

  3. arXiv · cs.CL34

    表格序列化方式决定大语言模型保留哪些关系

    一项 arXiv 研究考察文本序列化对指令微调大语言模型表格查找的影响:同一 256 单元格合成表格分别以行优先和列优先渲染,最优格式随表格形状变化。64x4 竖长表中行优先领先 42.3-54.0 个百分点,4x64 宽表中列优先领先 35.0-59.0 个百分点。研究提出“关系局部性”概念:序列化让一种关系保持局部可用,另一种则依赖位置对齐。

  4. arXiv · cs.AI28

    IndustrialCAD-1400:面向工业装配体的 text-to-CAD 基准

    研究者发布 text-to-CAD 基准 IndustrialCAD-1400,包含 1,400 条请求,覆盖 40 个领域的 400 类设备,以及 250 个含 4 个设计案例的族。每条族请求中位数指定 17 个命名部件或配置角色和 6 个明确数值目标,模型生成的几何程序在统一 Blender 环境中执行,并通过前视、等轴测和俯视图评估部件、布置与接口完成度。该基准将 text-to-CAD 从可识别的零件几何扩展到联合组件、接口、空间与数值规格的工业装配体综合。

  5. arXiv · cs.CL32

    BanglaBBQ:面向孟加拉国语境的问答偏见基准

    BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准,捕捉孟加拉国语境下的刻板印象,保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示:语境模糊时所有模型都倾向刻板印象,且英语结果无法预测孟加拉语中的表现。

10月17日周六
  1. arXiv · cs.CL32

    GLOSS-MT:用可编辑词典实现可控低资源机器翻译

    GLOSS-MT 通过离线英-特威语(Twi)词典替换源句名词短语并一次性微调翻译模型,实现可控的低资源机器翻译。在英语到阿散蒂特威语文档级基准(84 篇文档、四个领域)上,基于 NLLB-200(600M、1.3B、3.3B)、OPUS-MT en-tw 和 TranslateGemma 4B 的微调模型 chrF2 提升 +2.85 至 +5.48,三个 NLLB 微调模型达到 50.12-50.80,为最佳开源系统。无需再训练即可通过更换词典条目改变输出术语,出现率达 70-97%。

  2. arXiv · cs.AI30

    张量网络 Datamodels(TNDMs)用于训练数据归因

    研究者提出张量网络 Datamodels(TNDMs),用低秩张量网络建模训练单元间的依赖,突破线性 datamodels 只能分配固定贡献、无法表达非可加联合效应的限制。在受控推理任务上,TNDM 仅观察一半训练子集即超越所有基线,TNDM-TT 在观察约 0.0061% 的可能训练子集后将预测 NMSE 较线性 datamodel 降低 89%。在事实关联微调中,单个 TNDM-CP 将留出 R² 从 0.579 提升至 0.668。

  3. arXiv · cs.AI19

    SQuIREL:一个在 Wikidata 中测量实体丰富度的上下文相对框架

    SQuIREL 是一种在实体级别测量 Wikidata 丰富度的方法,从语义特异性、限定符密度、内部连通性、引用溯源、外部网络连通性和语言可及性六个维度分别评估。案例研究显示,48% 的巴西油画聚为低丰富度 stub,而法国油画为 0%,并揭示英国与尼日利亚作家间不同的性别差距,可暴露可能指向系统性偏差的表征不平等。

  4. arXiv · cs.CL12

    Ben-Misandry:首个孟加拉语反男性仇恨检测数据集与 Late Fusion Transformer 框架

    研究者发布 Ben-Misandry,首个孟加拉语反男性(misandry)仇恨言论检测数据集,含 5,000 条评论、六个分类,由 GPT-4.1 生成并经人工抽检。在 BanglaBERT 与 XLM-RoBERTa 的 late fusion 集成上达到 96.6% 准确率、macro ROC-AUC 超过 99%,优于最佳单模型(字符级 TF-IDF 线性 SVM 的 91.8%)。作者注明未经显著性检验,数据为合成语料,实际效果有待真实数据验证。

  5. arXiv · cs.CL50

    哪些长文档有用?上下文扩展数据选择的对照研究

    一项对照研究在 Qwen2.5-3B 上以 6B token 持续训练预算比较上下文扩展的长文档选择方法,发现随机采样长文档优于 repacking,而按 LongPPL 关键 token 密度选文档效果更好。其提出的 truncLongPPL 通过截断前缀计算密度,获得 2.28× 端到端评分加速,在验证 HELMET 上超过 random-long 4.54 分、held-out RULER 上 3.28 分。在 Qwen2.5-3B、Qwen3-8B、OLMo 3-7B 的短长混合训练及 SFT 后,该方法的 LongBench v2 提升 1.13–1.67 分、MRCR 提升 0.62–1.44 分。

  6. arXiv · cs.CL28

    相反前提翻译出相同结果:面向多语言常识题的源条件诊断方法

    arXiv 论文提出一种源对比诊断方法,用于检验多语言推理评测中翻译前提是否忠实:反转英文前提极性后分别翻译,统计目标语言输出是否完全相同。在 71 组配对题目、五种目标语言、三个翻译 checkpoint 的测试中,Swahili 在每个 checkpoint 的 710 对样本中分别出现 63、113、67 次精确碰撞;在以人类参照校准的阈值下,round-trip NLI 仅通过 NLLB-3.3B 113 次碰撞中的 3 次,LaBSE 则通过 78 次。每次碰撞都证明至少存在一处不忠实翻译,但无法定位具体在哪一侧。

  7. arXiv · cs.CL16

    意大利立法过程:一个统一结构化数据集

    研究者用经人工标注验证的 LLM 抽取流程,把意大利议会非结构化文本转为带日期的有序事件(法案提出、委员会审议、全会审议、批准等),构建了覆盖 1985 至 2026 年、第 IX 至 XIX 届议会全部 5346 部法律、共 101413 个事件的数据集。该数据集可用于计算法律与立法研究及过程导向的数据科学方法。

  8. arXiv · cs.CL22

    弥合学术数据中的语言鸿沟 II:提升中文姓名的性别推断

    研究者针对汉字与拼音两种形式的中文姓名开发性别推断模型,包括输出 0-1 性别分数的回归模型与三分类模型,训练数据来自中文物理出版物的姓名样本,由 11 位母语者标注。回归模型 RMSE 为 0.09、R² 为 0.85,分类模型 macro-AUC 达 0.97;拼音场景通过音译与频率加权聚合汉字预测,并附歧义分数。在对比 Namsor、GPT 和 Claude 三种工具时,模型与人工标注一致性最高,能对 APS 期刊作者样本中每个姓名给出性别,而现有拼音方法有 20%-100% 无法分类。代码与数据已公开。

10月16日周五
  1. arXiv · cs.CL27

    Perceive, Solve, Reason:Time Series-LLM 渐进式能力形成研究

    研究者构建首个覆盖 Perceive、Solve、Reason 三级渐进能力的时间序列-LLM 训练评测套件,含 337K 训练和 44K 评测样本。实验表明专用编码器必不可少:4B 模型在所有感知属性上超越 GPT-4o,而将序列文本化会使推理准确率下降 8–10 个百分点。按序训练的 4B TS-LLM 在无目标域数据情况下,在 8 项域外指标中的 7 项超越四个近期 7B TS-LLM,最高领先 11 个百分点。

  2. arXiv · cs.CL51

    MuninAI:面向独立研究组的自托管科研Agent框架

    Munin是一个开源自托管科研助手框架,可索引研究组文献库和引用图谱,并把任意开放权重模型包装成带阅读、检索和计算工具的智能体。在199组配对文献问题上,框架将基座模型准确率从0.387提升到0.874,而朴素检索式回答在所有测试骨干模型上均低于无辅助模型;移除来源论文后系统在约九成问题上放弃作答,300条伪造引用中未产生虚构的本地引用;断网状态下两个Qwen骨干模型仍超过已发表的PaperQA2准确率,其中gpt-oss-20b可在单张消费级GPU上运行。

  3. arXiv · cs.AI27

    RecReg:基于恢复式屏蔽的强化学习正则安全性质保障框架

    研究者提出 RecReg,一个通过恢复式屏蔽(recovery-based shielding)在强化学习中强制执行非马尔可夫正则安全性质的安全 RL 框架。该框架统一支持不同层级的先验知识与安全保证,论文主要在表格型设定下构建理论基础,提供了相关工作所缺乏的严格安全性与收敛性保证。基于 MASA-Safe-RL 库的大量实验表明 RecReg 学习高效且与理论相符,作者还概述了使用 SOTA model-based RL 扩展到深度 RL 领域的方案。