arXiv · cs.AI· Sam Kouteili·· 1 天前AI 评分41
DeoGen：面向规则推理的自动基准生成方法
Deogen: Automatic Benchmark Generation for Reasoning over Policies
来源与原文
arXiv · cs.AI
作者：Sam Kouteili
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38687v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
DeoGen 是一个可扩展、可参数化的道义推理自动基准生成器，通过将政策规则自动形式化为一阶逻辑并构建决策树来生成基准条目，其中叶子路径给出判定，非叶子路径考察模型在信息不足时的弃答能力。评测显示前沿模型在常规条目上正确率达 89-92%，但在信息不足、应弃答的条目上仅 22-40% 正确，即使提示词明确要求弃答也是如此。
来源：arXiv · cs.AI · arxiv.org