GitHub · 去对齐工具与仓库·· 18 天前AI 评分42
llm-eval-harness:基于 pytest 的 LLM 应用评测工具集
aayush-dhg/llm-eval-harness
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/aayush-dhg/llm-eval-harness
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
aayush-dhg 的 llm-eval-harness 是一个用 pytest 测试基于上下文的 LLM 问答应用的评测工具集,第一阶段已完成 10 个手写评测用例、参数化 pytest 和通过 Ollama 运行的 llama3.2:latest 模型,当前 10/10 用例全部通过。项目正进行更大规模 golden dataset、打分、LLM-as-judge 评测、CI、报告及 prompt/模型对比。开发中曾因测试要求精确匹配 "mutable" 一词而误判正确答案,随后改为接受语义等价表述。
来源:GitHub · 去对齐工具与仓库 · github.com