跳到正文
GitHub · 灵魂体仓库·· 14 天前AI 评分41

ilyhay 开源 AI-Quality-Evaluation-Pipeline:可复现的 LLM 与 ASR 自动化评测流水线

ilyhay/AI-Quality-Evaluation-Pipeline

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ilyhay/AI-Quality-Evaluation-Pipeline

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B,12 个用例 PASS 率 8.3%,发现间接提示词注入漏洞,LLM-as-a-Judge 比 keyword 检查更可靠;ASR 评测用 faster-whisper small(int8 量化),干净音频 WER 约 5.23%,噪声音频达 81.48%。

来源:GitHub · 灵魂体仓库 · github.com