Aleph Alpha Research 开源 eval-framework 大规模 LLM 评测框架

Aleph Alpha Research 在 GitHub 开源 eval-framework，一个面向大规模 LLM 评测的生产级框架，预置 90 多个基准任务，覆盖推理、数学、编码、安全与长上下文等类别。框架支持通过 HuggingFace Transformers、OpenAI 兼容接口或自定义 BaseLLM 类接入模型，可用 BaseTask 和 BaseMetric 添加自定义基准与指标，内置 LLM-as-a-judge、置信区间与显著性检验、扰动测试，并集成 Determined AI 做分布式评测，输出 JSON 结果与分析报告。