arXiv · cs.AI· M. Mikail Demir·· 6 天前AI 评分26
System One 决策模型 vs 生成式 LLM:法律引用权威缺失时谁该弃权?
Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority
来源与原文
arXiv · cs.AI
作者:M. Mikail Demir
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29961v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究测试基于 LLM 的 System One 决策模型在法律权威验证中能否在正确答案缺失时弃权:扩展 CaseHOLD 数据集(5,314 项中 1,670 项替换正确 holding)后发现,生成式 LLM 在无正确选项时仍于 38-86% 的情况下强行选择,最谨慎的决策模型为 30%。在标准 CaseHOLD 上,决策模型以 1/55 的成本达到与最佳生成式 LLM 相当的准确率(88.1% vs 88.2%);两者结合可将错误引用减半,其概率蒸馏到 Qwen3-8B 后可得校准良好的本地模型。
来源:arXiv · cs.AI · arxiv.org