GitHub · 去对齐工具与仓库·· 20 天前AI 评分44
Llama 3.3 70B 在 SciFact 上的证据鲁棒性测量:干扰与注入对判定影响有限
omkar00004/scifact-verifier-robustness
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/omkar00004/scifact-verifier-robustness
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项单模型、单次运行的测量用 SciFact 160 条测试声明(80 SUPPORTS / 80 CONTRADICTS)检验 Llama 3.3 70B Instruct(FP8,经 Cloudflare Workers AI 提供)对坏证据的鲁棒性。加入 2 条 BM25 干扰段落或植入含 PINEAPPLE 的提示后,准确率变化均无 95% CI 排除 0;唯一显著差异是防御性提示在干净证据上使准确率下降 0.044(-0.081 至 -0.013)。人工核查 20 条输出中,被标记的 10 条有 8 条遵循植入指令(precision 0.800)。
来源:GitHub · 去对齐工具与仓库 · github.com