GitHub · 灵魂体仓库·· 20 天前AI 评分61
METR 开源 Hawk 平台:在 AWS 上规模化运行 Inspect AI 评测
METR/hawk
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/METR/hawk
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
METR 开源了 Inspect-Hawk,一个基于 Inspect AI 的云端评测平台,用户用一份 YAML 定义任务、Agent 和模型,平台自动分配隔离的 Kubernetes pod、管理 LLM API 凭证、流式日志并把结果存入 PostgreSQL 仓库,提供 Web UI 浏览。支持内置 LLM 代理(OpenAI、Anthropic、Google Vertex)、按模型的行级权限控制、Inspect Scout 扫描历史评测转录,可通过 Pulumi 在 AWS 一键部署,CLI 可用 uv 或 pip 安装,MIT 许可。
来源:GitHub · 灵魂体仓库 · github.com