arXiv · cs.AI· Siyin Wang·· 12 天前AI 评分43
ELLSA 2：支持语音、表情与手势的全双工端到端对话模型
Full-Duplex Interaction with Speech, Expressions and Gestures
来源与原文
arXiv · cs.AI
作者：Siyin Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21452v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 ELLSA 2，一个端到端全双工对话模型，联合优化语音交互与流式手势表情生成，在语言沉默时仍可持续生成非语言行为。模型通过上下文语义调用与模板引导实现语义手势生成，并建立对话感知的共语手势数据与评测管线。实验显示其与开源全双工语音交互模型相当，在手势与表情指标上超越级联基线，语义模板引导显著提升语义手势质量。
来源：arXiv · cs.AI · arxiv.org