跳到正文
GitHub · 灵魂体仓库·· 19 天前AI 评分50

LLM-Ticket-Triage:用 pytest 测试 LLM 客服工单分类应用

smritish21/LLM-Ticket-Triage

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/smritish21/LLM-Ticket-Triage

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 LLM-Ticket-Triage 展示如何用 pytest 可靠地测试一个基于 LLM 的客服工单分类应用,默认使用 gpt-4o-mini 模型。项目将测试分为两层:用 FakeLLMClient 的确定性测试可在 CI 运行;真实模型评估基于 12 条标注工单的 golden 数据集,要求分类准确率 ≥ 80%、高优先级召回 ≥ 80%,并覆盖重试、降级与提示词注入防护。

来源:GitHub · 灵魂体仓库 · github.com