GitHub · 灵魂体仓库·· 12 天前精选AI 评分63
refund-decision-eval:本地 LLM 退款判官跑不赢查表与 TF-IDF 基线
dmitri-sulga/refund-decision-eval
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/dmitri-sulga/refund-decision-eval
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者用 CFPB 信用卡投诉数据预注册评测了两个 LLM 退款判官(qwen3.8:27b)与六个基线,250 条 held-out 投诉上没有任何系统明显超过“一律不退款”的 70.0% 基准。issuer 查表(kappa 0.354)与 TF-IDF(0.320)领先,判官 v1 低于这两个基线,v2 与其不可区分,结论是不自动化任何决策;附加的注入测试中一句伪造内部备注使 judge v2 的 28 个拒绝中 27 个翻成退款,七条规则的过滤器对其余变体几乎无效。
推荐理由
作者用预注册冻结流程把本地 LLM 判官与简单基线同台对比,并给出提示注入攻击的具体翻倒率,方法严谨可复现。
来源:GitHub · 灵魂体仓库 · github.com