跳到正文
热点事件历史事件

GitHub 开源 LLMAgentBench 工程任务自动评估器

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

GitHub 仓库 ai-v5/LLMAgentBench 发布了面向真实工程任务的 LLM 驱动自动评估器:由 LLM 驱动任务,代码固定执行条件、验证结果并生成报告,当前支持 Codex、DeepSeek Harness(DSH)headless 和本机 Kimi Daimon prompt 三种候选。 当前仅实现 response_patch 模式,候选返回答案和文件内容,由评估器应用修改后执行独立检查;完整终端操作、多人协作和长时间部署任务尚未实现。仓库称合成题只验证链路,真实选型仍需代表性未见任务、重复运行、评分器校准和足够样本。 评估器会执行候选代码但不是恶意代码沙箱,README 对各候选的记忆注入、只读模式和工具事件审计的隔离边界做了说明。运行需 Python 3.11+ 且仅依赖标准库,采用 MIT 许可证;费用未知,目前不能生成美元成本排名。

AI 根据报道生成 · 10 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. GitHub · 灵魂体仓库
    LLMAgentBench 发布面向真实工程任务的 LLM 自动评估器

    GitHub 仓库 ai-v5/LLMAgentBench 发布了面向真实工程工作的自动评估器,由 LLM 驱动任务,代码固定执行条件、验证结果并生成报告,当前支持 Codex、DeepSeek Harness(DSH)headless 和本机 Kimi Daimon prompt 三种候选。当前模式为 response_patch,候选返回答案和文件内容,评估器应用修改后执行独立检查;完整终端操作、多人协作和长时间部署任务尚未实现。评估器会执行候选代码但不是恶意代码沙箱,README 对各候选的记忆注入、只读模式和工具事件审计的隔离边界做了详细说明,并提供多个不调用模型的上下文与读访问探针脚本。运行需 Python 3.11+ 且仅依赖标准库,采用 MIT 许可证。