GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分58
vamsi513 开源 EvalForge:LLM 评估平台附真实 judge 基准与隐私探针研究
vamsi513/evalforge
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vamsi513/evalforge
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
vamsi513 在 GitHub 发布 EvalForge,一个基于 FastAPI、Next.js 16 和 SQLAlchemy 的 LLM 评估平台,提供 5 信号确定性评分、OpenAI/Anthropic/Mistral/Ollama judge 适配、实验排行榜、发布门禁与异步任务,已部署在 AWS EC2 和 Vercel 并附在线 demo。60 例 judge 基准显示三种 judge 的平均分数在 n=60 下无统计差异,本地 qwen2.5:7b-instruct 与 OpenAI 通过率一致度 93.3%、Cohen's kappa 0.859。
推荐理由
作者用真实 API 调用实测了各家 LLM judge 的延迟、成本与一致性,还给出拒绝措辞掩盖泄密这一评分陷阱的具体案例。
来源:GitHub · 去对齐工具与仓库 · github.com