arXiv · cs.CL· Tardelli Ronan Coelho Stekel·· 4 天前AI 评分41
封闭集决策用紧凑编码器：从 17M 到 1B 参数，逐选项读取优于联合读取
Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters
来源与原文
arXiv · cs.CL
作者：Tardelli Ronan Coelho Stekel
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.30970v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
这项研究探究了封闭集决策（如工具选择）所需编码器的最小规模及读取方式，发现 3200 万参数下逐选项打分比联合读取高 5.8 个机会校正分（约匹配训练算力时高 2.8），且不受选项顺序影响，而联合模型重排选项会改变 12-23% 的答案。发布的 6 个编码器中，6800 万和 1.5 亿参数模型在 209 个 System1-Arena 任务上分别超过 4.35 亿参数 DeBERTa-v3 零样本分类器 4.9 和 5.9 个准确率点，最小模型中位延迟仅 14 毫秒，对比 728 毫秒。
来源：arXiv · cs.CL · arxiv.org