GitHub · 灵魂体仓库·· 19 天前AI 评分50
LLM-Ticket-Triage:用 pytest 测试 LLM 客服工单分类应用
smritish21/LLM-Ticket-Triage
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/smritish21/LLM-Ticket-Triage
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 LLM-Ticket-Triage 展示如何用 pytest 可靠地测试一个基于 LLM 的客服工单分类应用,默认使用 gpt-4o-mini 模型。项目将测试分为两层:用 FakeLLMClient 的确定性测试可在 CI 运行;真实模型评估基于 12 条标注工单的 golden 数据集,要求分类准确率 ≥ 80%、高优先级召回 ≥ 80%,并覆盖重试、降级与提示词注入防护。
来源:GitHub · 灵魂体仓库 · github.com