Sam Kouteili 发布规范推理基准生成器 DeoGen
热点事件观察中
Sam Kouteili 发布规范推理基准生成器 DeoGen
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Sam Kouteili 发布论文，提出自动生成规范（道义）推理基准的工具 DeoGen：它将政策规则自动形式化为一阶逻辑并构建决策树，由叶子路径给出判定条目、非叶子路径生成信息不足、模型应当弃答的条目，可扩展且参数可调。 用该基准评测显示，前沿模型在常规条目上正确率达 89-92%，但在应弃答的条目上仅 22-40% 正确，即使提示词明确要求弃答也是如此。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 02:56
DeoGen：面向规则推理的自动基准生成方法报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv · cs.AIDeoGen：面向规则推理的自动基准生成方法
DeoGen 是一个可扩展、可参数化的道义推理自动基准生成器，通过将政策规则自动形式化为一阶逻辑并构建决策树来生成基准条目，其中叶子路径给出判定，非叶子路径考察模型在信息不足时的弃答能力。评测显示前沿模型在常规条目上正确率达 89-92%，但在信息不足、应弃答的条目上仅 22-40% 正确，即使提示词明确要求弃答也是如此。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。