跳到正文
热点事件历史事件

开源 llm-agent-qa:可动账付款 Agent 配套安全评测套件

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

开发者 yuri-spizhovyi-mit 在 GitHub 发布开源仓库 llm-agent-qa,包含一个基于 Claude API 的应付账款 LLM Agent 及其安全评测套件。该 Agent 可读取发票、核对供应商与余额并提议付款,但项目称资金转移须经人工批准,并通过代码规则强制执行。 评测套件包括带置信区间的 golden-task 评测、经人工标注校准的 LLM judge、提示词注入红队测试和 CI 门槛,项目自称目的是证明 Agent 不会做错事或被诱骗做错事。目前项目处于 10 个里程碑中的第 1 个,环境为 tokenized-settlement-qa v1.0.0。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. GitHub · 灵魂体仓库
    llm-agent-qa:基于 Claude API 的付款 Agent QA 与红队评测套件

    GitHub 开源项目 llm-agent-qa 构建了一个基于 Claude API 的应付账款 LLM Agent,可读取发票、核对供应商与余额并提议付款,但资金转移须经人工批准并由代码规则强制执行。配套评测套件包括带置信区间的 golden-task 评测、经人工标注校准的 LLM judge、提示词注入红队测试和 CI 门槛。项目环境为 tokenized-settlement-qa v1.0.0,目前处于 10 个里程碑中的第 1 个。