跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分66

support-agent 开源韩语客服 LLM 智能体与规则化评测环境

hyeonbin123/support-agent

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hyeonbin123/support-agent

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

hyeonbin123 在 GitHub 开源了用工具调用处理韩语虚拟购物客服的 LLM 智能体,并配套可复现的规则化评测环境(开发用 24 题、测试用 40 题,pass^k 与无 LLM 的 DB 状态判定,遵循 τ-bench 方法但任务自建)。本地 4~14B 模型实测中,qwen3.5:4b 将测试集 pass^1 从 18.1% 提到 55.6%;语音通道使 pass^1 从 16.2% 跌至 1.9%,规则化正则化挽回约一半至 8.8%;改用发信号码加姓名精确核验后身份核验从 53.1% 升至 80.2%。项目含 FastAPI 聊天服务、MCP 服务器、审批队列与审计日志,全部指标可从 reports/ 记录重新计算。

推荐理由

作者用 pass^k 与无 LLM 的规则化判定量化了语音通道、模型升级和小型模型对客服智能体成功率的影响。

来源:GitHub · 去对齐工具与仓库 · github.com