arXiv · cs.CL· Xiaofan Wu·· 17 天前AI 评分41
TasteBench：如何构建真正衡量“品味”的基准
How to Build a Benchmark That Actually Measures Taste
来源与原文
arXiv · cs.CL
作者：Xiaofan Wu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.14707v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 TasteBench，一个跨视觉、品牌、书籍和科技类别的成对 good-vs-bad 基准，采用冻结评分标准和仅专家金标（panel n>=3，一致率 >=0.60）。在 n=250 对的 Round-1 试点中量化出三类效度威胁：位置偏置（always_item_a 得分 0.956）、文件名词汇泄漏（0.912）以及难度天花板（五个 VLM 在 craft 类别均达 1.0）。团队发布参考 eval harness 和 side-randomization 工具，可将位置偏置从 0.916 降至 0.495/0.505。
来源：arXiv · cs.CL · arxiv.org