Above Chance Is Not Enough：LLM judge 自我识别审计论文数据与代码开源

Adrian Erlikhman、Michael Tarekegn 和 Philo Juang 在 arXiv 发表论文 Above Chance Is Not Enough，并开源了复现所需的全部数据与代码，审计 LLM judge 是否能识别自己写的文本。自我命名测试在 37 个案例中标记 15 个，其中 8 个具有区分力，3 个同时超过同伴基线。数据包括 2026 年 6-7 月 chat-app 语料 190 篇文本与 1900 条判断、OpenRouter API 语料 600 篇文本，以及 Qwen2.5-7B、Llama-3.1-8B、Mistral-7B-v0.3、Phi-4-mini 的开放权重面板；所有 API 响应均已存档，无需 API key 即可复算论文全部数字。