跳到正文
我的
arXiv · cs.CL· Peidi Dong·· 15 小时前AI 评分39

TASC 基准评估对话助手的时间敏感安全意识

Before You Continue: Evaluating Time-Sensitive Safety Awareness in Conversational Assistants

来源与原文

arXiv · cs.CL

作者:Peidi Dong

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.06839v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文提出 TASC 基准,评估 LLM 助手能否在对话中应用时间相关约束。该基准包含 3,418 个输入(来自 128 个模板)及 33 个场景,覆盖 13 个模型。结果显示,模型仅在 30.5% 违规场景中考虑时间约束;尽管 62.1% 的失败案例中模型已正确计算经过时间,仍未能应用约束,显式提供时间信息也只能解决约一半的失败。

来源:arXiv · cs.CL · arxiv.org

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。