GitHub · 灵魂体仓库·· 14 天前AI 评分41
ilyhay 开源 AI-Quality-Evaluation-Pipeline:可复现的 LLM 与 ASR 自动化评测流水线
ilyhay/AI-Quality-Evaluation-Pipeline
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ilyhay/AI-Quality-Evaluation-Pipeline
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B,12 个用例 PASS 率 8.3%,发现间接提示词注入漏洞,LLM-as-a-Judge 比 keyword 检查更可靠;ASR 评测用 faster-whisper small(int8 量化),干净音频 WER 约 5.23%,噪声音频达 81.48%。
来源:GitHub · 灵魂体仓库 · github.com