跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分61

METR 开源 Hawk 平台:在 AWS 上规模化运行 Inspect AI 评测

METR/hawk

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/METR/hawk

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

METR 开源了 Inspect-Hawk,一个基于 Inspect AI 的云端评测平台,用户用一份 YAML 定义任务、Agent 和模型,平台自动分配隔离的 Kubernetes pod、管理 LLM API 凭证、流式日志并把结果存入 PostgreSQL 仓库,提供 Web UI 浏览。支持内置 LLM 代理(OpenAI、Anthropic、Google Vertex)、按模型的行级权限控制、Inspect Scout 扫描历史评测转录,可通过 Pulumi 在 AWS 一键部署,CLI 可用 uv 或 pip 安装,MIT 许可。

来源:GitHub · 灵魂体仓库 · github.com