GitHub · 灵魂体仓库·· 9 天前AI 评分53
paperlab-space 0.1 开源发布,用表格数据一行命令评测 LLM
paperlab-space/paperlab-core
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/paperlab-space/paperlab-core
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
PaperLab.space 团队开源了 paperlab-space 0.1,用户给 Excel 或 CSV 文件并指定输入列与答案列,选好模型和指标,即可批量评测 LLM。支持 OpenRouter、Gemini、OpenAI、Anthropic、Ollama 等 LiteLLM 兼容模型并行运行,内置编码检测、数据校验、免费档限速与断点续跑,输出 Excel 结果、booktabs LaTeX 表格和记录模型版本、prompt、seed 的 YAML 复现配置,指标含 exact match、accuracy、precision/recall/F1 和 token F1,分词支持中日泰缅文,Apache 2.0 协议。
来源:GitHub · 灵魂体仓库 · github.com