跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分42

llm-eval-harness:基于 pytest 的 LLM 应用评测工具集

aayush-dhg/llm-eval-harness

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/aayush-dhg/llm-eval-harness

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

aayush-dhg 的 llm-eval-harness 是一个用 pytest 测试基于上下文的 LLM 问答应用的评测工具集,第一阶段已完成 10 个手写评测用例、参数化 pytest 和通过 Ollama 运行的 llama3.2:latest 模型,当前 10/10 用例全部通过。项目正进行更大规模 golden dataset、打分、LLM-as-judge 评测、CI、报告及 prompt/模型对比。开发中曾因测试要求精确匹配 "mutable" 一词而误判正确答案,随后改为接受语义等价表述。

来源:GitHub · 去对齐工具与仓库 · github.com