arXiv · cs.CL· Liang-Hsun Huang·· 12 天前精选AI 评分64
OpenTWBench 发布：面向大语言模型的台湾领域知识评测套件
OpenTWBench (Open Taiwan Benchmark): Taiwan-Domain Knowledge Evaluation for Large Language Models, and How the Measurement Apparatus Shapes the Score
来源与原文
arXiv · cs.CL
作者：Liang-Hsun Huang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19848v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Liang-Hsun Huang 在 arXiv 发布 OpenTWBench，一套评测大语言模型台湾领域知识的开放套件，含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据，含 148 科目共 255,854 道四选一题，剔除 2,180 道依赖图片的题目后用 253,674 题计分；后者含 1,696 道关于台湾日常与当代生活的精选题，以冻结的七模型池校准至及格边缘（46.9-74.6%，中位约 54%），leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型，22 个超过该区间上限，最好成绩 91.6%。
推荐理由
论文用同一批题目量化了评测装置本身对分数的影响，答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。
来源：arXiv · cs.CL · arxiv.org