跳到正文
GitHub · 去对齐工具与仓库·· 15 天前AI 评分43

JudgeBench:基于评分细则的开源 LLM 评测系统,对照人类判断评估模型答案

AbinaSelvamurugan/llm-as-judge-scoring-system

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/AbinaSelvamurugan/llm-as-judge-scoring-system

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 JudgeBench 项目按评分细则评估 LLM 答案,调用 Claude Messages API 做格式校验打分,默认模型为 claude-sonnet-4-6,并独立收集人类盲评、计算人机一致性。系统对事实正确性等七个准则按 1–5 分评分,默认通过阈值为 0.65,提供 CLI 和 10 视图 Streamlit UI,以 MIT License 开源。

来源:GitHub · 去对齐工具与仓库 · github.com