GitHub 开源 LLMAgentBench 工程任务自动评估器
先了解这件事
GitHub 仓库 ai-v5/LLMAgentBench 发布了面向真实工程任务的 LLM 驱动自动评估器:由 LLM 驱动任务,代码固定执行条件、验证结果并生成报告,当前支持 Codex、DeepSeek Harness(DSH)headless 和本机 Kimi Daimon prompt 三种候选。 当前仅实现 response_patch 模式,候选返回答案和文件内容,由评估器应用修改后执行独立检查;完整终端操作、多人协作和长时间部署任务尚未实现。仓库称合成题只验证链路,真实选型仍需代表性未见任务、重复运行、评分器校准和足够样本。 评估器会执行候选代码但不是恶意代码沙箱,README 对各候选的记忆注入、只读模式和工具事件审计的隔离边界做了说明。运行需 Python 3.11+ 且仅依赖标准库,采用 MIT 许可证;费用未知,目前不能生成美元成本排名。
AI 根据报道生成 · 10 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 灵魂体仓库LLMAgentBench 发布面向真实工程任务的 LLM 自动评估器
GitHub 仓库 ai-v5/LLMAgentBench 发布了面向真实工程工作的自动评估器,由 LLM 驱动任务,代码固定执行条件、验证结果并生成报告,当前支持 Codex、DeepSeek Harness(DSH)headless 和本机 Kimi Daimon prompt 三种候选。当前模式为 response_patch,候选返回答案和文件内容,评估器应用修改后执行独立检查;完整终端操作、多人协作和长时间部署任务尚未实现。评估器会执行候选代码但不是恶意代码沙箱,README 对各候选的记忆注入、只读模式和工具事件审计的隔离边界做了详细说明,并提供多个不调用模型的上下文与读访问探针脚本。运行需 Python 3.11+ 且仅依赖标准库,采用 MIT 许可证。