跳到正文
热点事件历史事件

评测显示本地 LLM 退款判官不如查表与 TF-IDF 基线

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

开发者 dmitri-sulga 在 GitHub 发布 refund-decision-eval 仓库,用 CFPB 信用卡投诉数据预注册评测了两个本地 LLM 退款判官(qwen3.8:27b)与六个基线。结果显示,250 条 held-out 投诉上没有任何系统明显超过“一律不退款”的 70.0% 基准;issuer 查表与 TF-IDF 领先,判官 v1 低于这两个基线,v2 与其不可区分。作者结论是不自动化任何退款决策。 预注册计划要求系统单独决策的案例达到 90% 一致,没有任何系统显示达到该标准。附加的提示词注入测试中,一句伪造内部备注使 judge v2 的 28 个拒绝中 27 个被翻成退款,七条规则的过滤器对其余变体几乎无效。代码以 MIT 许可发布。

AI 根据报道生成 · 7 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. GitHub · 灵魂体仓库精选
    refund-decision-eval:本地 LLM 退款判官跑不赢查表与 TF-IDF 基线

    作者用 CFPB 信用卡投诉数据预注册评测了两个 LLM 退款判官(qwen3.8:27b)与六个基线,250 条 held-out 投诉上没有任何系统明显超过“一律不退款”的 70.0% 基准。issuer 查表(kappa 0.354)与 TF-IDF(0.320)领先,判官 v1 低于这两个基线,v2 与其不可区分,结论是不自动化任何决策;附加的注入测试中一句伪造内部备注使 judge v2 的 28 个拒绝中 27 个翻成退款,七条规则的过滤器对其余变体几乎无效。