跳到正文
  1. Ollama Blog56

    Ollama 支持语音模型,首发 Gradium 的 Phonon 文本转语音系列

    Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。

    推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。

  1. arXiv · cs.CL59

    FD-LHB 基准揭示全双工语音模型长对话为何崩溃

    研究者提出 Full-Duplex Long-Horizon Benchmark(FD-LHB),测试五个全双工语音模型的长对话能力,发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction(丢弃首个 KV 条目),重复则受模型自身近期输出强化;提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复,在最长一小时的重放对话中实时运行并显著减少对话崩溃。

    推荐理由:论文诊断出全双工语音模型长对话崩溃的两个机制,并给出无需重训练的两项修复方法,具可迁移性。

  1. Hugging Face Blog53

    IBM 发布 Granite Speech 5.0 系列语音模型,含新增 2B 及两款更新版本

    IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。

    推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。

  1. arXiv · cs.CL57

    MultiPartyTurnBench:评测多方语音对话中话轮控制的基准发布

    作者发布 MultiPartyTurnBench(MPTB),包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型,评测话轮结束(EOT)检测与打断(INT)检测两项任务。基线模型 EOT 召回率达 82.5-92.6%,但五个全双工智能体在选择性打断处理上接近随机水平(46.9-54.7%),Gemini-3.8-Live 对 97.7% 的附和信号让出话轮,MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。

    推荐理由:基准把真实话轮转换与易混淆的非事件分开评测,并给出五个全双工智能体在选择性打断上的具体短板数据。

  1. arXiv · cs.CL64

    Oído:在 5 美元 ESP32-S3 微控制器上实现无神经加速器的开放词表语音识别

    论文提出 Oído 推理引擎,在 ESP32-S3(240 MHz 双核、512 KB SRAM、无神经加速器)上运行 13M 参数 Conformer-CTC int8 模型,实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%,加 1.3M 参数语言模型后降至 3.33%/7.15%,transducer 头达 2.99%/6.67%,比同芯片厂商识别器少 2.3-2.8 倍错误,也优于笔记本全精度 Whisper 与 Moonshine tiny。

    推荐理由:论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据,方法与测量细节都可复现。

  1. arXiv · cs.CL61

    Paradee:将 Kokoro-82M 蒸馏为 8M 参数单音色 TTS 模型

    作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee,参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征,分别训练文本侧与解码器后拼接,并量化为 int8;int8 版本仅 8.5 MB,单 CPU 线程下 25 倍实时速度,UTMOS 得分 4.41(教师为 4.52)。

    推荐理由:论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程,方法无需对齐学习,可在单 CPU 上复现部署。

  1. Hugging Face · 趋势模型68

    pyannote 发布 speaker-diarization-community-1 说话人日志模型

    pyannote 在 Hugging Face 发布说话人日志管线 speaker-diarization-community-1,改进说话人分配与计数,并新增独占式说话人日志输出,便于与转写时间戳对齐。

    推荐理由:原文给出十多个学术基准上的说话人日志错误率对比,读者可据此量化该模型相对上一代的实际提升幅度。

  2. Hugging Face · 趋势模型71

    MiniMax 开源全模态生成系统 MiniMax H3 权重

    MiniMax 开源了 MiniMax H3 的 H3-Base 权重,该系统可统一理解文本、图像、视频与音频,并生成最长 15 秒、带 32 kHz 立体声的视频,768p 输出经 H3-Regenerate-2K 可达 2K。

    推荐理由:原文给出 H3-Base 架构细节、权重拆分和 SGLang/vLLM/diffusers 部署命令,可据此自行本地部署复现。

  3. Hugging Face · 趋势模型68

    FermionResearch 发布 Phonon-2 语音识别模型,164 MB 平均词错率 5.21%

    FermionResearch 在 Hugging Face 发布 Phonon-2,称其为 900 MB 以下英文识别最准确的开源模型,在 Open ASR Leaderboard 七个英文测试集上平均词错率 5.21%,164 MB 体积达到 2.5 GB 教师模型 parakeet-tdt-0.6b-v3 的精度,编码器每个权重以约 2.1 bit 存储。

    推荐理由:原文给出七套英文测试集的平均词错率和多平台实时率数据,可以据此比较小体积语音识别模型之间的实际精度差距。

  4. Hugging Face · 趋势模型52

    NVIDIA 开放 Nemotron-3-Diarization 说话人分离模型权重

    NVIDIA 在 Hugging Face 发布开放权重模型 Nemotron-3-Diarization,用于判断真实音频中谁在何时说话,支持流式与离线推理,最多处理 8 个说话人。

    推荐理由:模型卡给出与 diar_streaming_sortformer_4spk-v2.1 在多个基准和延迟档位下的 DER、SCA 与 RTFx 对比,读者可据此评估升级收益。

  1. arXiv · cs.CL53

    XTurnix:基于两态二分类的大规模自监督轮次控制模型

    XTurnix 论文提出一个紧凑文本模型,将实时对话轮次控制建模为基于聆听或说话状态的两个二分类决策,并从完整对话历史预测单一控制 token。模型在 550 万个自动生成的因果动作样本上预训练,再在合成的多轮样本上微调;在四个公开基准上,XTurnix 在全部 SemanticVAD 和 LiveKit 分割上取得最佳结果,在 Smart-Turn Bench 上与原生 Smart-Turn 模型持平,在 Easy-Turn 上取得最高的不完整轮次准确率;在自建平衡基准上达到 89.06% 准确率,比最强第三方基线 68.75% 高出超过 20 个百分点,四个类别 F1 在 84.21% 至 90.63% 之间。代码和交互演示已开放。

    推荐理由:论文把对话轮次控制统一为双二分类决策,并在多个公开基准上给出对比结果,读者可据此评估这类紧凑控制器的实际水平。

  1. Hugging Face · 趋势模型52

    Cactus Compute 发布端侧语音识别模型 Whistle,整个模型仅 16.9 MB

    Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle,整个模型为单个 16.9 MB 文件,无需 GPU 和外部依赖,与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写(单次最长 30 秒)、词级时间戳和语音嵌入,静音返回空文本而非编造句子。WER 基于 86,174 条语音实测,并用与 Whisper、Moonshine 已发布数据对比;精度为 Whistle 2 至 4 bit,Whisper fp32,Moonshine int8。

    推荐理由:原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径,读者可以据此评估端侧语音识别的实际表现。

  1. Hugging Face Blog70

    Hugging Face 推出 Open TTS Leaderboard:多语言 TTS 与语音克隆的可扩展评测

    Hugging Face 推出面向开源与多语言 TTS 的 Open TTS Leaderboard,用客观指标替代难以扩展的 arena 式人工投票。评测维度包括基于 Qwen3 ASR 的 WER/CER 可懂度、H200 GPU 上的 RTFx 与 TTFA 速度、以及 WavLM 嵌入余弦相似度(SIM)衡量说话人相似度,将单模型评测从数周缩短到数小时。

    推荐理由:用 WER、SIM、TTFA 等客观指标把评测周期从数周缩到数小时,并解释了开源模型在 arena 榜单上代表性不足的原因。

已经到底了