support-agent 开源韩语客服 LLM 智能体与规则化评测环境
hyeonbin123 在 GitHub 开源了用工具调用处理韩语虚拟购物客服的 LLM 智能体,并配套可复现的规则化评测环境(开发用 24 题、测试用 40 题,pass^k 与无 LLM 的 DB 状态判定,遵循 τ-bench 方法但任务自建)。本地 4~14B 模型实测中,qwen3.5:4b 将测试集 pass^1 从 18.1% 提到 55.6%;语音通道使 pass^1 从 16.2% 跌至 1.9%,规则化正则化挽回约一半至 8.8%;改用发信号码加姓名精确核验后身份核验从 53.1% 升至 80.2%。项目含 FastAPI 聊天服务、MCP 服务器、审批队列与审计日志,全部指标可从 reports/ 记录重新计算。
推荐理由:作者用 pass^k 与无 LLM 的规则化判定量化了语音通道、模型升级和小型模型对客服智能体成功率的影响。