Tinybird 开源 llm-benchmark：测试各大模型生成分析型 SQL 的能力

Tinybird 发布了开源工具 llm-benchmark，用于评测各 LLM 依据自然语言问题生成分析型 SQL 的正确性，结果发布在 https://llm-benchmark.tinybird.live/。评测基于 2 亿行 GitHub archive 数据，每个模型需回答 50 个问题，支持通过 OpenRouter 测试 Grok-4、Claude Sonnet 4、DeepSeek Chat v3、Gemini 2.5 Pro、O3 等模型，测量的指标包括 SQL 正确性、执行成功率、首 token 时间、总耗时和 token 用量，生成的 SQL 无效时会将报错回传给模型自动重试最多三次。