GitHub · 灵魂体仓库·· 3 天前AI 评分21
cdcoonce/llm-preference-audit：审计 LLM 裁判是否复现 Chatbot Arena 人类偏好偏差
cdcoonce/llm-preference-audit
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/cdcoonce/llm-preference-audit
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一个进行中的 GitHub 项目审计 Chatbot Arena 人类偏好标签，测量长度偏差（更长的回答更容易胜出）和位置偏差，并检验 Claude Haiku 等零样本 LLM 裁判及 LightGBM、DeBERTa-v3 微调、Gemma / Qwen LoRA 等训练模型是否会复现或放大这些偏差。评估采用按 prompt hash 分组的锁定 10% 测试集加 5 折交叉验证，指标为 winner_model_a / winner_model_b / winner_tie 的多分类 log loss。
来源：GitHub · 灵魂体仓库 · github.com