跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分44

Llama 3.3 70B 在 SciFact 上的证据鲁棒性测量:干扰与注入对判定影响有限

omkar00004/scifact-verifier-robustness

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/omkar00004/scifact-verifier-robustness

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项单模型、单次运行的测量用 SciFact 160 条测试声明(80 SUPPORTS / 80 CONTRADICTS)检验 Llama 3.3 70B Instruct(FP8,经 Cloudflare Workers AI 提供)对坏证据的鲁棒性。加入 2 条 BM25 干扰段落或植入含 PINEAPPLE 的提示后,准确率变化均无 95% CI 排除 0;唯一显著差异是防御性提示在干净证据上使准确率下降 0.044(-0.081 至 -0.013)。人工核查 20 条输出中,被标记的 10 条有 8 条遵循植入指令(precision 0.800)。

来源:GitHub · 去对齐工具与仓库 · github.com