跳到正文
arXiv · cs.CL· Richard Yucheng He·· 21 天前精选AI 评分62

InteractionBench:在七个实时语音系统上测量时机、语音任务准确率、耳语与音量及对话落地

InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems

来源与原文

arXiv · cs.CL

作者:Richard Yucheng He

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.02430v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文提出 InteractionBench,一个在相同录音用户音频上测量四个维度的实时语音系统基准:对话时机、语音任务准确率、耳语与音量、以及超过二十轮对话的落地性,每系统 221 项、十三场景,共 1,519 次评分运行。评测对象包括 GPT-Live、GPT-Realtime、Gemini Live、Moshi、PersonaPlex、Freeze-Omni 和一个轮替级联系统:六个全双工系统中时机与任务准确率秩相关(ρ=0.83),级联系统任务分最高(38/50)但时机分倒数第二;只有 Gemini Live 在多数请求(8/10)上会耳语;托管系统落地性探测通过率 67-88%,开源全双工模型仅 14-35%。

推荐理由

同一批录音上对七个实时语音系统测四个维度,还拆出网络延迟对计时分数的影响,可作横向比较参考。

来源:arXiv · cs.CL · arxiv.org