GitHub · 灵魂体仓库·· 8 天前精选AI 评分62
furkanbati 开源 llm-evaluation-platform，基于 Ollama 的 LLM 输出评测平台
furkanbati/llm-evaluation-platform
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/furkanbati/llm-evaluation-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
furkanbati 在 GitHub 开源了 llm-evaluation-platform，一个用于评测大语言模型输出的 REST API 平台，用 Ollama 生成答案、可插拔指标打分、SQLite 存储每次评测。平台提供 Exact Match、Numeric Match、Token F1、语义相似度和 LLM-as-a-Judge 等八种指标，评测后台运行并有并发上限和队列限制。在 23 个标注用例上，llama3 作为 judge 正确决策 22/23 并拒绝全部 13 个错误答案，judge 通过 XML 标签包裹内容并按数据处理来抵抗提示词注入，但包含注入指令的正确答案仍是唯一失误。
推荐理由
项目给出了八种评测指标在同一批 23 个标注用例上的正确率对比，可以按答案类型选指标，部署门槛是 Docker Compose 加 Ollama。
来源：GitHub · 灵魂体仓库 · github.com