GitHub · 灵魂体仓库·· 17 天前精选AI 评分61
EvalDesk 开源:像批注文档一样评测 AI 产品对话日志
ganeshiyer316/evaldesk
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ganeshiyer316/evaldesk
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ganeshiyer316 发布开源工具 EvalDesk,用于加载 AI 产品的对话日志、逐条批注,并把笔记整理成命名的失败模式、可对照个人判断打分的 LLM judges,以及可在每次改动后重跑的测试用例。它遵循 Hamel Husain 与 Shreya Shankar 的 AI evals 课程中的错误分析方法(开放编码、轴心编码、LLM judges),内置 Payments、Healthcare、General 三个领域包,页面完全在浏览器运行、无账号无服务器,可选的 AI 功能使用用户自己的 OpenRouter key 且仅限零数据保留的供应商,需 Node 22 或以上,MIT 许可。
推荐理由
这是一个可在浏览器本地运行、数据不出本机的 AI 对话评测工作台,方法脉络和上手路径在原文里写得清楚,可以照着复用。
来源:GitHub · 灵魂体仓库 · github.com