跳到正文
arXiv · cs.AI· Yijie Hu·· 22 小时前AI 评分34

PatentAgentBench:用专业专利任务套件评测 LLM Agent

PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites

来源与原文

arXiv · cs.AI

作者:Yijie Hu

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.35031v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 新论文推出 PatentAgentBench,包含覆盖 8 个任务套件的 510 个实例,涵盖新颖性检索、FTO 检索、无效检索、权利要求对照表、专利撰写、审查意见答复和专利翻译等任务,基于真实专利记录并由专家标注。研究评估了 7 个 LLM 在 4 种 agent harness 下的表现,发现当前系统仍难以识别新颖性、评估风险和理解专利从业者意图。

来源:arXiv · cs.AI · arxiv.org