GitHub · 灵魂体仓库·· 12 天前AI 评分42
munimtechnologies 发布 forecast-answer-formats:首个跨工具 LLM 预测答案格式基准
munimtechnologies/forecast-answer-formats
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/munimtechnologies/forecast-answer-formats
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Munim, Inc. 的 MV2 在 GitHub 发布 forecast-answer-formats,首个跨工具基准,检验部署的预测机器人提取器对 LLM 有效答案格式的读取、丢弃与误读情况,覆盖 Metaculus 的 binary、multiple-choice 和 numeric 三类问题。对比 mv2-forecaster 0.1.7 与 Metaculus forecasting-tools:binary 20 例中两者分别 14 与 13 例正确,multiple choice 11 例中 7 对 6,numeric 8 例中 5 对 5,两类提取器各有失败模式、互不占优。语料库以 CC BY 4.0 发布,代码采用 Apache-2.0。
来源:GitHub · 灵魂体仓库 · github.com