Anuvani-LID：面向印度语言的鲁棒且校准的口语语言识别模型
Anuvani-LID 是一个 115M 参数的 conformer 语言识别模型，基于 54,643 小时印度语音训练，覆盖 22 种印度语言及印度口音英语。在 102 条件基准的 37 个条件下，其平均 macro-F1 达 0.914，比 Gemini 3.5 Flash 高 5.2 分，1 秒音频上领先 24 分，23 种语言得分 0.897，ECE 校准误差 0.008。
#语音
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分4343 arXiv · cs.CLAI 评分3434 Anuvani-Diarization：跨 22 种语言的零样本说话人日志与标注规范研究
Anuvani-Diarization 在 IndicDiarBench 上覆盖印度 22 种官方语言的零样本说话人日志任务，通过不确定性感知的 silver 监督适配自监督端到端分割模型。在 1,164 条录音上 duration weighted DER 达 16.78%，为所测系统最低，仅次于已发表最佳结果 16.0%，并在 22 种语言中的 14 种领先三个最强对手。研究还发现 utterance 级标注规范这一隐藏变量影响 1.9 至 4.1 个 DER 点。
arXiv · cs.CLAI 评分2828 语音基础模型中基于语言选择性维度的语码转换检测方法
一项提交至 ICASSP 2027 的研究提出直接从语音中检测语码转换（CS）的轻量方法：利用单语录音识别预训练语音编码器中的语言选择性隐层维度，并聚合其帧级激活做出预测。在 CS-FLEURS 的 14 个语言对上，Whisper-small 编码器平均 F1 达 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751，可用于筛选多语训练语料。
arXiv · cs.AIAI 评分3333 熟知声音克隆与人格迁移在虚拟角色设计中的局限
一项发表于 arXiv 的研究通过两项实验检验熟悉声音的克隆语音是否会将人格印象迁移到虚拟角色上：实验 1 在真实大学场景使用学生熟悉的讲师克隆声音，实验 2 在线上使用社交媒体创作者的声音。结果显示人格迁移证据有限，效应具有选择性且不跨特质或情境泛化，线上实验中声音线索仅激活对说话者的预期而未重建整体人格印象，缓和了克隆声音会直接操纵用户将虚拟角色视为社会行动者的担忧。
arXiv · cs.CLAI 评分3131 PACT：面向表达力与音色保留的语音到语音翻译实用提示词框架
arXiv 论文提出 PACT，一种面向目标空间的提示词框架，用于保留语音者身份与情感、语调、节奏等语用信息的语音到语音翻译。该框架从源语音提取语用线索，投影到目标语言表达空间并校准后，转化为连续提示词驱动冻结的语音生成器。在双向西班牙语-英语 TOPI 评测中，PACT 在内容保真、音色保留与表达保留指标上综合表现最佳。
arXiv · cs.CLAI 评分1818 如何从语音信号直接估计 surprisal：一种基于重要性采样的方法
一项 arXiv cs.CL 研究提出用语音 LM 直接从语音信号估计 surprisal，摆脱依赖文本转录的瓶颈。该工作引入重要性采样估计器，通过 TTS 模型对抽象语言单元的多种声学实现边缘化，在瞳孔测量听感实验中，发现该方法比逐实现估计更准确预测瞳孔扩张，亚词汇单元的 surprisal 也有预测力；但整体上 surprisal 对瞳孔变化的预测力不强。
arXiv · cs.AIAI 评分3434 GAMW：面向 TTS 溯源的生成感知梅尔域水印方法
研究者提出 GAMW，一种在 TTS 生成过程中嵌入水印的框架，在波形合成前向生成表征注入内容自适应的 16-bit 多比特水印残差，解码端结合 focal modulation 与动态逐比特加权。在两个 TTS 骨干上的实验显示，相比最强基线，GAMW 在单一扰动和复合扰动下解码准确率分别提升 9.2 和 23.5 个百分点，同时保持语音质量，代码已开源。
arXiv · cs.AIAI 评分3535 基于Oracle引导微调的生成式ASR后编辑：从N-best候选中选择或改写
该研究提出oracle引导微调方法，让LLM通过三个数据池学习"选择或改写"策略来后编辑ASR转录：corrections池教选择、regularizers池抑制不必要改写、hard negatives池压制幻觉。在私有数据集上约3B参数起效果明显优于随机子集微调，但CommonVoice上的结果不够确定，作者认为公开朗读语音文本可能与LLM预训练数据重叠、掩盖真实收益。
arXiv · cs.CLAI 评分2828 VoTSpeech：在指令跟随 TTS 中将音色设计与语音生成解耦
VoTSpeech 通过显式中间语音潜变量，将音色设计与语音生成解耦。该系统基于共享语言模型骨干，先用 flow 模块从文本指令预测连续语音潜变量，再同时作为语言模型与 Acoustic DiT 的共享条件，最后由 audio VAE 解码器生成波形；语音潜变量由 speaker embeddings 与时间池化的 audio VAE 特征联合监督。VoTSpeech 在 InstructTTSEval-ZH 上表现强劲，与强开源模型相比具备竞争力且保持高自然度，代码、模型与音频样本已开源。
arXiv · cs.CLAI 评分3232 AphaVoice：面向失语症患者模拟的文本转语音模型
研究者推出 AphaVoice，一种专为合成高度逼真失语语音设计的 TTS 框架，用于医疗人员训练模拟。对比 SOTA TTS 系统的评测显示，其能更好地捕捉构音障碍这一临床特征，在时间指标上超越现有模型并保持说话人身份一致。借助 latent space shifting，模型还支持多说话人生成，为失语症医疗训练与临床模拟提供可扩展的高保真工具。
arXiv · cs.CLAI 评分1818 OpenPA：无需强制对齐的多粒度发音评估框架，通过混合转写适配统一评分
研究者提出发音评估框架 OpenPA，利用 Whisper 的 cross-attention 机制联合预测词级和语句级发音分数，无需强制对齐。通过混合转写适配和自适应替换加权，单一模型可同时覆盖封闭与开放作答场景。仅在 speechocean762 上训练的 OpenPA 在域内封闭和模拟开放作答条件下取得评估系统中最强的整体表现，并在 MultiPA 上保持零样本性能，口腔癌语音的跨任务评测显示其潜在应用前景。
arXiv · cs.CLAI 评分2525 错误率还不够：低资源 ASR 中数据增强的代价分析
一项低资源语音识别（ASR）研究在四种低资源语言和英语的五种数据规模上，比较了 SpecAugment 等音频增强与基于文本合成音频的增强方法。音素级分析显示两者错误类型互补：SpecAugment 增加声调和腭化错误，文本方法引入辅音插入，组合后各自抵消对方的错误，且组合提升超过各自提升之和；但超加性在 100 小时数据量时消失。研究建议按训练暴露度和声学属性选择增强方法。
arXiv · cs.AIAI 评分2929 AudioTETRIS：基于过渡重要性信号消除 token，实现高效音频 LLM
AudioTETRIS 是一个 training-free 的两阶段框架，利用音频编码器的表示几何作为声学先验，计算逐 token 融合分数并跨 decoder 层进行渐进式 top-k token 选择。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 token 即可在多项语音任务上保持接近未压缩的性能，并在中等压缩率下达到或超过全 token 准确率，持续优于现有 training-free 基线。
arXiv · cs.CLAI 评分3333 个性化而非性别刻板印象：语音 LLM 能否辨别何时该“充耳不闻”？
研究者推出 BASIS-Bench 基准，从人口群体稳健性、刻板印象偏见和个性化三个维度，评测八个语音 LLM 能否区分有益个性化与刻板行为。结果显示，多数模型虽能识别人口群体线索，却无法将其转化为恰当的个性化响应；显式人口标签虽提升个性化，但也放大了文本底座中已有的刻板联想。
arXiv · cs.CL精选AI 评分6464 Oído：在 5 美元 ESP32-S3 微控制器上实现无神经加速器的开放词表语音识别
论文提出 Oído 推理引擎，在 ESP32-S3（240 MHz 双核、512 KB SRAM、无神经加速器）上运行 13M 参数 Conformer-CTC int8 模型，实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%，加 1.3M 参数语言模型后降至 3.33%/7.15%，transducer 头达 2.99%/6.67%，比同芯片厂商识别器少 2.3-2.8 倍错误，也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由：论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据，方法与测量细节都可复现。
arXiv · cs.CLAI 评分2020 基于 DistilHuBERT 重审口音分类：说话人分离评估与跨语料库泛化
一项发表于 ICNLSP 2026 的研究基于 DistilHuBERT 和 L2-ARCTIC 及多个外部英语口音数据集，重审口音分类的鲁棒性。结果显示 file-level 评估会明显高估性能，说话人分离评估更能反映对未见说话人的泛化；仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC，置信度过滤的伪标签在域失配下也不够。研究建议鲁棒评估应同时包含说话人分离与跨语料库测试。
arXiv · cs.CLAI 评分2222 从 210 万小时广播音频构建芬兰语语音 SSL 模型：置信度过滤与架构对比分析
一项大规模芬兰语语音 SSL 研究从 210 万小时无约束广播音频出发，提出用 ASR 置信度作为预训练数据质量的代理指标。相比基于 LID 的过滤，该方法在训练集更小的情况下仍带来 3-7% 的相对 WER 提升。研究还在相同参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构，模型在 Base 规模和域外场景优于此前芬兰语 SSL 基线。
arXiv · cs.AIAI 评分2121 音频嵌入里还剩多少音频信息？对音频编码器的反演审计
一项 arXiv 研究通过配对源重建评估音频编码器中保留的信息：用共享的 Stable Audio Open 潜在扩散解码器，从 VGGish、ConvNeXt、CLAP、EnCodec 的冻结表示中重建 5 秒 44.1kHz 立体声音乐。在 Million Song Dataset 上的评测显示不同编码器族可重建性差异明显，接口暴露的时间与频谱结构越细，恢复效果越好；即使是压缩的任务导向嵌入，重建结果仍保留可测的源特异性和高层音乐内容。
arXiv · cs.CLAI 评分4343 SteerablePlex：全双工语音模型可以被可控引导吗？
论文提出 SimIF-Bench 基准，评测对话模型能否在规定场景内按顺序完成多个目标，发现现有开源全双工语音模型难以遵循此类约束。作者基于 GDPO 训练方法让全双工模型在持续对话中遵循文本指令并保持轮次切换能力，构建出 SteerablePlex。连接异步后端语言模型监控对话后，其作为用户模拟器在多阶段约束上的可靠性超过现有开源模型和 GPT-Realtime。
arXiv · cs.CLAI 评分4646 DiffuPlex：基于滚动掩码扩散加速全双工语音对话模型
DiffuPlex 是一个滚动掩码扩散框架，可在单次 backbone 调用中预测多帧未来用户与助手语音，从而减少全双工语音对话模型的逐帧自回归计算。其 DiffuPlex-LISTEN 与 DiffuPlex-SPEAK 分别实现 1.46× 和 1.59× 部署路径实际加速，Core LM 加速达 1.61× 和 1.80×，且所有 backbone 调用均在 80ms 交互间隔内完成。人类评测显示 LISTEN 保持语音自然度与对话质量，SPEAK 对话质量保留但语音自然度有所下降。
arXiv · cs.CLAI 评分3939 EgoVoice：基于第一人称多模态流的主动式语音助手框架
研究者提出 EgoVoice，一个用于训练和评估主动式第一人称语音助手的框架，让模型从连续视频与音频流中自主决定何时开口、说什么。该工作基于 HoloAssist 视频构建音频流数据，微调全模态 LLM 并用 DPO 优化主动干预行为。实验显示现有开源与闭源模型很少产生时机恰当的主动干预，而 EgoVoice 在干预时机、内容相关性上均优于零样本基线。
arXiv · cs.CLAI 评分3131 超越语音描述文本：面向对话 TTS 的语音奖励风格规划（SRSP）
一项 arXiv 研究提出 Speech-Rewarded Style Planning（SRSP），用冻结的下游 TTS 模型训练文本风格规划器，并以目标语音 token 的 teacher-forced likelihood 作为奖励，通过 GRPO 优化。在 ISCSLP 2026 CoT-TTS 语料英语子集上，SRSP 相比 Base LLM 与目标音频描述基线获得更高的语音风格和情感相似度、更低的 mel-cepstral distortion，在上下文恰当性与参考一致性评测上也优于所有基线。
arXiv · cs.CLAI 评分2929 何时可以剪枝网络？多语言语音句法分析中中间神经网络作用研究
研究人员在端到端语音句法分析中检验中间神经网络单元的作用，提出移除这些单元的更简架构，参数减少 12%，同时在 ASR 和解析任务上达到与先前方法相当或更好的性能。实验发现中间 NN 单元有助于在冻结预训练编码器时缩小表示差距，并在法语以及中低资源语言斯洛文尼亚语和 Naija 上进行了全面评估，还考察了训练数据规模与预训练语音编码器中间层的影响。论文将发表于 Findings of EMNLP 2026。
arXiv · cs.CLAI 评分2828 Prosody-to-Text：从低通滤波语音预测文本
一项 arXiv 研究首次探索 prosody-to-text 任务，对 Whisper 进行微调，仅使用最低 12 个 Mel bins（约 450Hz 截止的低通滤波）恢复原句，WER 达 36%，其中 10% 的语句被完美还原，40% 的语句 WER 低于或等于 25%。给定正确前缀时，下一个 token 的预测准确率为 79%。结果表明低频语音特征与词汇内容的关联远强于以往认知，未来或可用韵律引导 LLM 的文本生成。
arXiv · cs.CLAI 评分2020 音系感知分词用于德语语音识别：一项跨领域研究
该研究在 Omnilingual ASR wav2vec 2.0 骨干上以 CTC 微调，比较多语言字符、BPE 和基于 Pythen 音节划分的音系感知三类分词器，共进行 40 次微调，在三个德语测试集（域内朗读、方言自发、标准德语自发语音）上评估。域内各分词器在 WER 和 CER 上表现相当；小词表下音节感知分词在方言和自发语音上占优。音素混淆分析显示各分词器错误模式相同，表明错误拓扑主要由声学编码器而非分词器决定。
arXiv · cs.CLAI 评分3232 无边界上下文偏置：深度自适应门控与读音空间匹配，面向日语中文等无分词语言的 ASR
研究者提出一种面向冻结公共 CTC 模型的无边界上下文偏置解码器，基于字符级 Aho-Corasick 自动机，无需训练和第二遍解码。在 Aishell-1 NE 的困难 R1 子集上召回率达 66.5%，超过训练过的 CLAS 基线（64%），并可不经调参迁移至 WenetSpeech 和第二种架构。团队还发布了首个开源日语上下文偏置基准，稀有词召回在精确率超 97% 时提升 25 点，对 1,000 词列表仍分别提升 19 和 22 点。
arXiv · cs.CLAI 评分1212 自监督语音表征中口音-语言混淆问题的缓解方法助力语言识别
一项 arXiv 研究针对自监督语音表征微调的语言识别（LID）模型常将带口音的非母语（L2）语音误判为说话人母语（L1）的问题，提出一种几何投影方法，仅用母语语音估计 L1 偏置方向并在冻结 LID 头之前予以移除。在五个 MMS-LID 模型与非母语语料上，该方法显著提升 L2 口音语音的目标语言识别准确率，同时不影响母语语音的预测，且无需 L2 训练数据或模型适配。
arXiv · cs.CLAI 评分2020 Itgan 参加 NADI 2026 共享任务：基于 LoRA 参数高效微调 Whisper 的鲁棒、混合方言与码切换阿拉伯语 ASR
Itgan 团队参加 NADI 2026 三个阿拉伯语 ASR 子任务，统一采用 LoRA 在消费级 GPU 上微调 Whisper。子任务 1.1 提交系统达到 57.1% 国家平均 WER；子任务 1.2 达到 46.7% WER；子任务 1.3 以 14.49% WER 获得第二名，并在领先系统中取得最低 CER 5.38%，最后 0.60 个 WER 点来自多个独立训练运行的精确权重空间平均与 ROVER 投票。
Hugging Face BlogAI 评分4949 
TII 推出 Falcon-ASR：聚焦阿拉伯语（含阿联酋方言）的 1.6B 语音识别模型
TII 在阿布扎比推出 1.6B 参数语音识别模型 Falcon-ASR，重点支持阿联酋方言，同时支持英语、法语、西班牙语和葡萄牙语。模型在六个阿拉伯语测试集上平均 WER 为 20.92%，优于所对照榜单最佳已发布结果 23.17%；内部阿联酋评测中 WER 22.73%、CER 10.19%，为对比系统中最低。模型支持词级时间戳，现已可在 Hugging Face Demo 试用，API 与原生应用已列入计划。
arXiv · cs.CLAI 评分2020 InterCorrect：面向公平 ASR 的交叉群体感知人口统计模型合并校正方法
研究提出 InterCorrect，一种用于公平 ASR 的人口统计感知模型合并方法：基于 SLAM-ASR 模型仅微调 connector，并将针对特定人群适配的 connector 合并为全局模型，再施加交叉群体特定校正向量。在 Fair-Speech 上，TIES 结合基于 WER 的校正取得最佳整体 WER，从 7.38% 降至 5.13%，但平均 WER 降低并不总意味着子群体差异缩小。
arXiv · cs.AIAI 评分4848 耦合但迟缓：全双工语音模型在无脚本对话中的轮次交替研究
两个 PersonaPlex-7B 实例在共享时钟下进行无脚本语音对话，轮次交替时机相互耦合，但换手明显偏晚：中位间隙为 400-560 ms，远高于人类的 137 ms。人类约十分之一的转移发生在对方话轮最后 120 ms 内，而模型仅占 1%，行为更像是感知到话轮结束后的被动等待，而非人类所需的话轮结束预测。
arXiv · cs.AIAI 评分4545 WorldSonus：为世界模型带来声音的交互式视频转音频框架
WorldSonus 是一个面向世界模型的交互式视频转音频框架，实现实时空间立体声合成。其采用流式因果自回归扩散架构，以 0.41 的低实时因子（RTF）合成音频块，并支持生成过程中动态操控声音事件，空间对齐监督来自立体声与 ambisonic 数据。实验显示其在开放域视频转音频基准上匹配或超越 SOTA 双向模型的声学质量与空间对齐。
arXiv · cs.AIAI 评分3030 针对多语言语音匿名化的声学与内容导向说话人验证攻击研究
一项 arXiv 研究评估了声学导向与内容导向的攻击 ASV 系统在多语言匿名化语音上的表现，并构建多语言语音转换数据集以提升跨语言泛化。结果显示攻击效果取决于匿名化语音的语言效用，声学导向攻击总体更强；当语言信息保留较好时，两类攻击的性能差距缩小。多语言数据集提升了攻击性能并部分缩小跨语言差距。
arXiv · cs.CLAI 评分3131 ARIA：面向粤语歌词创作的音频驱动旋律-声调关系建模
论文提出 ARIA，一个两阶段的音频驱动粤语歌词创作框架，可从带字级时间戳的演唱录音中生成符合声调的粤语歌词。该方法先用 TRATE 估计器从音频预测 0243 声调序列，再通过 DRA-TCLG 结合检索增强生成流畅歌词，并构建了大规模音频-Jyutping-0243 对齐数据集。实验表明 ARIA 在 0243 预测和声调一致的歌词生成上均表现优异，论文已被 EMNLP 2026 Findings 接收。
arXiv · cs.CLAI 评分2626 HINTT 提交第二届 MLC-SLM 挑战赛：对比级联与统一方法的说话人分离和 ASR
HINTT 系统参加第二届 MLC-SLM 多语言会话语音挑战赛，解决多语言说话人归属 ASR 问题。最终提交采用级联方案：微调 DiariZen 说话人分离模型、微调 Qwen3-ASR 模型和基于 LLM 的生成式纠错，并微调 VibeVoice-ASR 统一模型作对比，全部仅用官方训练数据。结果显示级联系统在 MLC-SLM Task 1 条件下更可靠，统一语音 LLM 则是有前景的方向。
arXiv · cs.CLAI 评分2828 DirectSpeech2LLM：一个缓解 Speech-LLM 提示词过拟合的简单端到端框架
DirectSpeech2LLM 是一个端到端框架，解决 Speech-LLM 仅用 ASR 指令训练后无法泛化到新指令的提示词过拟合问题。它在冻结的 LLM 嵌入矩阵上计算基于距离的 CTC loss，仅用 960 小时 LibriSpeech ASR 数据训练，即在 ASR 上超越级联系统，并对语音翻译和情感识别两个未见任务实现零样本泛化。结果在两个 LLM 家族上保持一致，并随训练数据和模型容量增长而提升。
arXiv · cs.CLAI 评分4848 对话是双体问题：全双工对话模型的双向对偶评测（DyaFDB）
研究者提出 DyaFDB 框架，让两个全双工语音对话模型在指定角色和合作或冲突目标下直接对话，并由外部裁判离线对双方打分，以替代单向评测。该框架包含 4 个任务、140 个场景，记录了 7,560 段对话，覆盖六种自对弈与交叉对弈配对。实验发现模型行为会持续塑造对方，因此每个模型须同时充当考官与考生，相关场景与协议将开源发布。
arXiv · cs.CLAI 评分3333 语音金融助手对英国口音的鲁棒性研究：CavaBench 基准发布
研究者发布 CavaBench，首个口语金融查询基准，用于评估 ASR 模型及 ASR-LLM 端到端流水线在英国口音下的表现。结果显示 WER 与下游工具调用准确率强相关（r = -0.93），但未必反映任务级性能，口音相关失败在不同模型和声学条件下差异显著。多数 ASR 模型以美式英语数据训练，导致苏格兰、爱尔兰和威尔士口音识别困难。
arXiv · cs.CL精选AI 评分6161 Paradee：将 Kokoro-82M 蒸馏为 8M 参数单音色 TTS 模型
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee，参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征，分别训练文本侧与解码器后拼接，并量化为 int8；int8 版本仅 8.5 MB，单 CPU 线程下 25 倍实时速度，UTMOS 得分 4.41（教师为 4.52）。
推荐理由：论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程，方法无需对齐学习，可在单 CPU 上复现部署。
arXiv · cs.AIAI 评分3434 关系合成：面向 Foley 音频与检索增强音频生成的结构介导拼接合成方法
arXiv 论文提出 relational synthesis（关系合成），一种拼接合成的变体，用类 Gromov 的关系结构代价替代目标代价，将参考音频 R 的时间结构与幅度变化迁移到源音频 S 的颗粒重组中，使合成结果保持与 S 声学一致且不持续复制 S 或 R 的片段。实验显示该方法可与神经 RAG 自然结合，在时间一致性、声学保真与泄漏指标上表现良好。论文已提交 ICASSP 2027。