arXiv · cs.AI· Le Qiu·· 15 天前AI 评分14
面向香港 AEC 行业消防安全规范解读的 LLM 评测基准研究
Towards a Benchmark for Fire Safety Code Interpretation in the Hong Kong AEC Industry
来源与原文
arXiv · cs.AI
作者：Le Qiu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.16127v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者与领域专家合作构建了一个针对香港消防安全规范的 LLM 评测数据集，含选择题（MCQ）与开放式题（OEQ），评估 12 个专有和开源模型。表现最好的专有模型在 MCQ 上准确率达 80-90%，开源模型普遍落后；而专家人工评估的开放式题准确率仅 50-70%，表明 LLM 在专业合规任务上仍有较大提升空间。
来源：arXiv · cs.AI · arxiv.org