跳到正文
arXiv · cs.AI· Tianyou Lai·· 15 天前AI 评分45

Choice2Seq 基准:衡量模型在完整答案选择与序列构造间的正确性保持

Correct Choices, Failed Sequences: Choice2Seq Benchmarks Correctness Retention Across Output Interfaces

来源与原文

arXiv · cs.AI

作者:Tianyou Lai

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.16191v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文提出 Choice2Seq 诊断基准,用序列构造保持率(SCR)衡量模型选对答案后能否通过局部决策序列正确构造出该答案。Jev 在算术和词法检索上的选择准确率达 97.1% 和 99.5%,但串行构造下正确率仅保留 33.0% 和 2.1%;StartLux 与 Qwen 也存在明显差距。限制局部候选字符可改进构造,显式位置索引可提升复制保真度。

来源:arXiv · cs.AI · arxiv.org