跳到正文
GitHub · 灵魂体仓库·· 13 天前AI 评分52

LLMAgentBench 发布面向真实工程任务的 LLM 自动评估器

ai-v5/LLMAgentBench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ai-v5/LLMAgentBench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 ai-v5/LLMAgentBench 发布了面向真实工程工作的自动评估器,由 LLM 驱动任务,代码固定执行条件、验证结果并生成报告,当前支持 Codex、DeepSeek Harness(DSH)headless 和本机 Kimi Daimon prompt 三种候选。当前模式为 response_patch,候选返回答案和文件内容,评估器应用修改后执行独立检查;完整终端操作、多人协作和长时间部署任务尚未实现。评估器会执行候选代码但不是恶意代码沙箱,README 对各候选的记忆注入、只读模式和工具事件审计的隔离边界做了详细说明,并提供多个不调用模型的上下文与读访问探针脚本。运行需 Python 3.11+ 且仅依赖标准库,采用 MIT 许可证。

来源:GitHub · 灵魂体仓库 · github.com