arXiv · cs.AI· Yilin Jiang·· 13 天前精选AI 评分54
arXiv 论文提出 LLM Agent 回复可用性度量并验证两种降低失败率方法
Measuring and Reducing Unusable Replies of LLM Agents
来源与原文
arXiv · cs.AI
作者：Yilin Jiang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19659v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Yilin Jiang 在 arXiv 发布论文（arXiv:2610.19659），提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中，480 条回复有 54% 不可用，最好的模型失败率仍达 30%，失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43，用第二个模型改写回复可降到 0.36，并经人类标注者盲测确认。
推荐理由
论文提出可量化的回复可用性指标，并给出追加一条消息或调用改写模型两种降低失败率的做法。
来源：arXiv · cs.AI · arxiv.org