arXiv · cs.AI· Ravil Mussabayev·· 10 天前AI 评分43
SIT-Eval：基于情境的对话智能体逐轮交互评测框架
SIT-Eval: Situation-Based Interactive Turn-by-Turn Evaluation of Conversational Agents
来源与原文
arXiv · cs.AI
作者：Ravil Mussabayev
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23612v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 SIT-Eval，一个可调节的对话智能体评测框架：每轮由 LLM-interlocutor 扮演随机抽取的情境，由情境感知的 LLM-judge 依据适用规则评判回复。对 8 个 LLM、1292 轮对话的评测发现，总体分数相近的模型在各条规则遵循度上差异很大，所有模型在澄清歧义和苏格拉底式提问上表现最差。
来源：arXiv · cs.AI · arxiv.org