跳到正文
GitHub · 灵魂体仓库·· 12 天前精选AI 评分63

refund-decision-eval:本地 LLM 退款判官跑不赢查表与 TF-IDF 基线

dmitri-sulga/refund-decision-eval

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/dmitri-sulga/refund-decision-eval

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者用 CFPB 信用卡投诉数据预注册评测了两个 LLM 退款判官(qwen3.8:27b)与六个基线,250 条 held-out 投诉上没有任何系统明显超过“一律不退款”的 70.0% 基准。issuer 查表(kappa 0.354)与 TF-IDF(0.320)领先,判官 v1 低于这两个基线,v2 与其不可区分,结论是不自动化任何决策;附加的注入测试中一句伪造内部备注使 judge v2 的 28 个拒绝中 27 个翻成退款,七条规则的过滤器对其余变体几乎无效。

推荐理由

作者用预注册冻结流程把本地 LLM 判官与简单基线同台对比,并给出提示注入攻击的具体翻倒率,方法严谨可复现。

来源:GitHub · 灵魂体仓库 · github.com