GitHub · 灵魂体仓库·· 18 天前AI 评分37
LLMSQL Benchmark:基于 WikiSQL 改进的 Text-to-SQL 评测基准
LLMSQL/llmsql-benchmark
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/LLMSQL/llmsql-benchmark
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
LLMSQL Benchmark 是对众包数据集 WikiSQL 清洗、扩展后的 Text-to-SQL 评测基准,用于评估大语言模型的 SQL 生成能力。数据集托管在 HuggingFace,支持 transformers、vllm 推理、OpenAI 兼容 API 及自定义 async callable(内置 rate limiting 与并发控制),并提供 evaluate 评测函数、微调数据集、CLI 命令与 leaderboard。
来源:GitHub · 灵魂体仓库 · github.com