评测显示本地 LLM 退款判官不如查表与 TF-IDF 基线
热点事件历史事件
评测显示本地 LLM 退款判官不如查表与 TF-IDF 基线
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
开发者 dmitri-sulga 在 GitHub 发布 refund-decision-eval 仓库,用 CFPB 信用卡投诉数据预注册评测了两个本地 LLM 退款判官(qwen3.8:27b)与六个基线。结果显示,250 条 held-out 投诉上没有任何系统明显超过“一律不退款”的 70.0% 基准;issuer 查表与 TF-IDF 领先,判官 v1 低于这两个基线,v2 与其不可区分。作者结论是不自动化任何退款决策。 预注册计划要求系统单独决策的案例达到 90% 一致,没有任何系统显示达到该标准。附加的提示词注入测试中,一句伪造内部备注使 judge v2 的 28 个拒绝中 27 个被翻成退款,七条规则的过滤器对其余变体几乎无效。代码以 MIT 许可发布。
AI 根据报道生成 · 7 天前更新
最新进展11月11日 09:46
refund-decision-eval:本地 LLM 退款判官跑不赢查表与 TF-IDF 基线报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- GitHub · 灵魂体仓库精选refund-decision-eval:本地 LLM 退款判官跑不赢查表与 TF-IDF 基线
作者用 CFPB 信用卡投诉数据预注册评测了两个 LLM 退款判官(qwen3.8:27b)与六个基线,250 条 held-out 投诉上没有任何系统明显超过“一律不退款”的 70.0% 基准。issuer 查表(kappa 0.354)与 TF-IDF(0.320)领先,判官 v1 低于这两个基线,v2 与其不可区分,结论是不自动化任何决策;附加的注入测试中一句伪造内部备注使 judge v2 的 28 个拒绝中 27 个翻成退款,七条规则的过滤器对其余变体几乎无效。