跳到正文
  1. arXiv · cs.CL59

    FD-LHB 基准揭示全双工语音模型长对话为何崩溃

    研究者提出 Full-Duplex Long-Horizon Benchmark(FD-LHB),测试五个全双工语音模型的长对话能力,发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction(丢弃首个 KV 条目),重复则受模型自身近期输出强化;提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复,在最长一小时的重放对话中实时运行并显著减少对话崩溃。

    推荐理由:论文诊断出全双工语音模型长对话崩溃的两个机制,并给出无需重训练的两项修复方法,具可迁移性。

  1. arXiv · cs.CL57

    MultiPartyTurnBench:评测多方语音对话中话轮控制的基准发布

    作者发布 MultiPartyTurnBench(MPTB),包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型,评测话轮结束(EOT)检测与打断(INT)检测两项任务。基线模型 EOT 召回率达 82.5-92.6%,但五个全双工智能体在选择性打断处理上接近随机水平(46.9-54.7%),Gemini-3.8-Live 对 97.7% 的附和信号让出话轮,MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。

    推荐理由:基准把真实话轮转换与易混淆的非事件分开评测,并给出五个全双工智能体在选择性打断上的具体短板数据。

  1. arXiv · cs.CL64

    Oído:在 5 美元 ESP32-S3 微控制器上实现无神经加速器的开放词表语音识别

    论文提出 Oído 推理引擎,在 ESP32-S3(240 MHz 双核、512 KB SRAM、无神经加速器)上运行 13M 参数 Conformer-CTC int8 模型,实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%,加 1.3M 参数语言模型后降至 3.33%/7.15%,transducer 头达 2.99%/6.67%,比同芯片厂商识别器少 2.3-2.8 倍错误,也优于笔记本全精度 Whisper 与 Moonshine tiny。

    推荐理由:论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据,方法与测量细节都可复现。

  1. arXiv · cs.CL61

    Paradee:将 Kokoro-82M 蒸馏为 8M 参数单音色 TTS 模型

    作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee,参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征,分别训练文本侧与解码器后拼接,并量化为 int8;int8 版本仅 8.5 MB,单 CPU 线程下 25 倍实时速度,UTMOS 得分 4.41(教师为 4.52)。

    推荐理由:论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程,方法无需对齐学习,可在单 CPU 上复现部署。

  1. arXiv · cs.CL53

    XTurnix:基于两态二分类的大规模自监督轮次控制模型

    XTurnix 论文提出一个紧凑文本模型,将实时对话轮次控制建模为基于聆听或说话状态的两个二分类决策,并从完整对话历史预测单一控制 token。模型在 550 万个自动生成的因果动作样本上预训练,再在合成的多轮样本上微调;在四个公开基准上,XTurnix 在全部 SemanticVAD 和 LiveKit 分割上取得最佳结果,在 Smart-Turn Bench 上与原生 Smart-Turn 模型持平,在 Easy-Turn 上取得最高的不完整轮次准确率;在自建平衡基准上达到 89.06% 准确率,比最强第三方基线 68.75% 高出超过 20 个百分点,四个类别 F1 在 84.21% 至 90.63% 之间。代码和交互演示已开放。

    推荐理由:论文把对话轮次控制统一为双二分类决策,并在多个公开基准上给出对比结果,读者可据此评估这类紧凑控制器的实际水平。

已经到底了