跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分57

infobip 开源 CIKM 2026 论文代码:先验分数会损害 LLM-as-a-Judge 评估独立性

infobip/llm-judge-bias

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/infobip/llm-judge-bias

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

infobip 团队发布 CIKM 2026 论文 Anchoring Bias in LLM-as-a-Judge Systems 的代码与数据仓库,研究先验分数如何损害 LLM 评委的评估独立性。仓库包含 20 个公开文本任务、192,000 次调用的主实验脱敏数据、Llama 机制探测数据、GPT-4.1 缓解实验数据,并提供 uv run python scripts/reproduce.py 一键复现全部公开统计结果与图表;主实验共 20 任务、8 模型、3 条件、4 温度、每格 100 次试验。工业数据集因含专有内容仅公开聚合结果,论文 DOI 为 https://doi.org/10.1145/3799682.3840879 ,MIT 许可。

推荐理由

仓库公开了19.2万次调用的实验数据和一键复现脚本,读者可以自行验证LLM评委锚定偏差的结论是否站得住。

来源:GitHub · 去对齐工具与仓库 · github.com