GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分61
WhoFlips 论文开源:反方论证如何让大语言模型放弃正确答案
nafisenik/WhoFlips
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/nafisenik/WhoFlips
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
WhoFlips 论文(arXiv:2606.16011)开源配套仓库与数据集,用两阶段协议测量 LLM 答案稳定性:先让模型为错误选项写论证,再用该论证挑战其原本正确的答案。实验覆盖 GPT-5.1、Gemma-4-26B、Llama-3.1-8B、Llama-3.3-70B 和 Qwen3.5 系列,变量包括论证长度 k ∈ {1,3,5,10}、归属(盲/自)与来源(同模型/跨模型),解码温度为 0 并禁用推理。数据集 nafisehNik/WhoFlips 约 1.18 GB、约 20.3 万行,含 self_mmlu、cross_mmlu 和 maxflip_mmlu 三个子集,CC BY 4.0 许可,每行保留两阶段完整信息可直接重算 AFR 等指标。
推荐理由
论文配套仓库同时放出了完整代码、复现脚本和约 203k 行的公开数据集,读者可直接复核答案翻转指标而不必重跑实验。
来源:GitHub · 去对齐工具与仓库 · github.com