arXiv · cs.AI· Yijie Hu·· 22 小时前AI 评分34
PatentAgentBench:用专业专利任务套件评测 LLM Agent
PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites
来源与原文
arXiv · cs.AI
作者:Yijie Hu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.35031v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 新论文推出 PatentAgentBench,包含覆盖 8 个任务套件的 510 个实例,涵盖新颖性检索、FTO 检索、无效检索、权利要求对照表、专利撰写、审查意见答复和专利翻译等任务,基于真实专利记录并由专家标注。研究评估了 7 个 LLM 在 4 种 agent harness 下的表现,发现当前系统仍难以识别新颖性、评估风险和理解专利从业者意图。
来源:arXiv · cs.AI · arxiv.org