arXiv · cs.AI· Xiaoyu Gu·· 7 天前AI 评分30
SMART:基于上下文评分标准的 ASR 语义分段映射与评估框架
SMART: Semantic Segment Mapping and Assessment of Recognition Transcripts with Contextual Rubrics
来源与原文
arXiv · cs.AI
作者:Xiaoyu Gu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.27820v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 SMART 框架,将 ASR 语义评估转化为上下文感知的分段级后果评估,通过结构化评分标准给出后果标签并量化 Semantic Impact Error Rate(SIER)。在多数投票人工标注上 SMART 达到 0.843 F1,高于直接 LLM 判断的 0.745,且对评估模型的选择相对不敏感。配套的无参考评分标准修正方法在两个数据集上相比 w/o Rubric 基线再降低 MER 0.85-0.98 个百分点、SIER_lex 1.18-1.65 个百分点。
来源:arXiv · cs.AI · arxiv.org