GitHub · 去对齐工具与仓库·· 19 天前AI 评分42
llm-compliance-bench：用 Benchmark 评测 LLM 与 RAG 能否可靠执行航空行李合规政策
ClaudiaAgromayor/llm-compliance-bench
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ClaudiaAgromayor/llm-compliance-bench
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
CentraleSupelec（2024-25）与 IBM France Lab 合作开源 llm-compliance-bench，评测 LLM 在航空行李政策合规判断上的表现，要求模型输出合规结果、费用、需托运物品和解释。项目对比了 Batch、Iterative simple、few-shot、Iterative questions 和 RAG（all-MiniLM-L6-v2 + TF-IDF）五种策略，单乘客单提示词最稳健，多步拆分会累积错误，检索相似已解决案例最有效，并用准确率、F1、MAE 及 LLM-as-a-judge 评估各项输出。
来源：GitHub · 去对齐工具与仓库 · github.com