arXiv · cs.CL· Md Rayhanul Masud·· 13 天前AI 评分30
BANGLAPLAN:孟加拉语约束规划与决策基准发布
BANGLAPLAN: A Benchmark for Constraint-Based Planning and Decision-Making in Bangla
来源与原文
arXiv · cs.CL
作者:Md Rayhanul Masud
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19704v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
BANGLAPLAN 基准发布,包含 1,000 道基于孟加拉国日常生活的约束规划与决策题,覆盖 10 个任务族、4 种语域和 8 种结构化 JSON 答案类型。评测 11 个开源与闭源模型配置显示:GPT-6.1 Sol 达 98.7%,Qwen3.5-27B(thinking)达 80.3%,直答配置最高仅 30.9%,11 个中 7 个低于恒答 infeasible 基线;难题主要降低规划构建准确率,不可行性检测更稳健。
来源:arXiv · cs.CL · arxiv.org